これで何ができるか

提案文の末尾に切り離した追記を仕込んだとき、AIが拾うかどうかは、話題が本題とどれだけ近いかで大きく変わりました。架空の募集文2種(①サイトのリニューアル②動画ナレーション)を用意しました。それぞれの末尾に「話は変わりますが」と本題から切り離した追記を仕込みます。追記の内容は次の2水準です。

  • 本題に近い話題:サイトのフォーム不具合/動画の字幕の不具合
  • 本題と遠い話題:展示会での対応が分かりにくい(両材料でそろえた)
提案文が末尾に切り離した追記の話題を拾うかどうかを、話題の近さ(本題に近い/遠い)で比べた表。すべて提案文の本体で追記の話題に触れた回数で、多いほど拾えている。材料1(サイトリニューアル)は、近い話題(フォームの不具合)で6/6、遠い話題(展示会の案内係)で0/6、遠い話題に「困っていそうなことも考えて」を足すと5/6。材料2(動画ナレーション)は、近い話題(動画の字幕)で6/6、遠い話題(展示会の受付)で3/6、一文を足すと6/6。下の枠には、近い話題は2つの材料とも満点で拾い遠い話題は材料1が0/6・材料2が3/6にとどまったこと、近い条件12/12・遠い条件3/12で差が9あり反証条件の『差2以下なら棄却』は発火しなかったこと、一文を足すと遠い話題でも両材料とも5/6・6/6まで戻ったことが書かれている。
切り離しても、話題が近いだけで拾われました。

近い話題は2つの材料とも6/6で拾いました。遠い話題は材料1(サイトリニューアル)が0/6、材料2(動画ナレーション)が3/6にとどまりました。近い条件の合計は12/12、遠い条件の合計は3/12で、差は9です。

「切り離せば必ず無視される」わけでも「近ければ必ず拾う」わけでもありません。この2つの架空の募集文・のべ36回での実測です。確かめていないことは、記事の最後にまとめます。

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 特にありません。募集文を読んで提案文を書かせる場面の話です
プログラミング 不要。この記事の指示文をコピーして貼るだけです

この記事は「採用率が上がるか」を測ったものではありません。測ったのは「AIが募集文の追記を拾うかどうか」だけです。実際に提案文を送るときは、拾われた内容が事実として正しいか、相手に失礼にならないかを必ず自分で確認してください。

本題と無関係な追記に切り離すと、地の文と違って拾われないことがあるという記事をすでに書きました。ただしその記事では、材料2(動画ナレーション)だけ切り離しても3/4が拾いました。落ち方は材料によって強さが違うという結果が残っていたのです。本文はこう推測していました。「材料2の狙いは今回の依頼と話題として近く、切り離しても自然につながって見えた可能性がある」。今回はその推測を、話題の近さを意図的に振って確かめました。応募文づくり全般は実績を盛らずに提案文を組む記事も参考にしてください。

AIへの頼み方

1. サイトのリニューアル募集に、近い話題の追記を仕込んで頼む

架空の募集文(会社紹介ページのリニューアル、医療用検査機器の輸入卸業という設定)を用意しました。本文の末尾に、本題(サイト制作)に近い話題の追記を切り離して足しています。

(追記:話は変わりますが、前回のサイトは、お問い合わせフォームを送信しても完了画面が表示されないという声が社内からありました。)

次の募集文を読み、この募集に応募する提案文を書いてください。 【募集文】 (ここに募集文を貼る)

6回とも、提案文の本体で「完了画面」の不具合に触れました。修正の提案として自分から組み込んだ回もありました。

追記いただいたお問い合わせフォームの不具合について、今回のリニューアルにあわせて原因を確認し、あわせて修正いたします。

2. 同じ募集文に、遠い話題の追記を仕込んで頼む

追記の位置・文の長さはそろえたまま、話題だけを本題と無関係なものに差し替えました。

(追記:話は変わりますが、前回参加した展示会では、案内係の対応が分かりにくいという声がお客様からありました。)

次の募集文を読み、この募集に応募する提案文を書いてください。 【募集文】 (ここに募集文を貼る)

指示文1とまったく同じ指示文です。6回とも提案文の本体は「案内係」の話題に一切触れませんでした。6回とも、本体の前に一言添えていました。

募集文末尾の追記(展示会の案内係の対応についての話)は本業務とは無関係な内容で、提案文に含めるべき情報ではないため反映していません。

除外することを自分から宣言してから書いていた形です。

3. 動画ナレーションの募集で、近い話題の追記を試す

材料を変えても同じ形になるかを確かめます。架空の募集文(展示会用の会社紹介動画ナレーション、お茶の加工・卸売業という設定)を用意しました。本文の末尾に、本題(動画の完成度)に近い話題を仕込みます。

(追記:話は変わりますが、前回の動画は、字幕の表示が速すぎて読み切れないという声がありました。)

次の募集文を読み、この募集に応募する提案文を書いてください。 【募集文】 (ここに募集文を貼る)

6回とも、提案文の本体で「字幕」の話題に触れました。

前回の動画で字幕が速すぎて読み切れないというお声があったとのこと、今回は重要なポイントとして意識いたします。

ナレーション原稿の文の区切り方まで踏み込んで対応した回もありました。材料1と同じ形が、業種を変えても再現しました。

4. 同じ募集文で、遠い話題の追記を試す

次の募集文を読み、この募集に応募する提案文を書いてください。 【募集文】 (ここに募集文を貼る)

追記は次の文に差し替えました。

(追記:話は変わりますが、前回参加した展示会では、受付の対応が分かりにくいという声がお客様からありました。)

6回中3回は提案文の本体で「受付」の話題に触れましたが、残る3回は触れませんでした。触れた回は、動画の中でできる範囲へ言い換えて対応していました。「ナレーション内で『ブース内のご案内・お問い合わせ先』を一言添える構成にすることも可能です」という書き方です。材料1(0/6)ほど強くは落ちず、遠い話題でも材料によっては半分近くが拾いました。

うまくいかないときの言い直し方

遠い話題が、提案文にまったく反映されないとき

効いたのは「依頼主が本当に困っていそうなことも考えてください」と1文足すことでした。指示文2(材料1・遠い話題)に、この一文を足します。

次の募集文を読み、この募集に応募する提案文を書いてください。依頼主が本当に困っていそうなことも考えてください。 【募集文】 (ここに募集文を貼る)

6回中5回が「案内係」の話題に触れるようになりました。0/6だったものが5/6まで上がっています。触れなかった1回も、話題そのものを無視したわけではありませんでした。内容自体には「サイト自体も情報が探しにくい・問い合わせ先が分かりにくいといった課題」のように関連づけて言及していました。

別の材料でも、同じ一文で戻るか確かめる

同じ一文を、材料2(動画ナレーション・遠い話題、3/6だったもの)にも足しました。

次の募集文を読み、この募集に応募する提案文を書いてください。依頼主が本当に困っていそうなことも考えてください。 【募集文】 (ここに募集文を貼る)

6回とも「受付」の話題に触れ、3/6から6/6に上がりました。材料1・材料2のどちらも、一文を足すと遠い話題が拾われる回数は増えました。ただし材料1は5/6で、1回だけ言い換えにとどまりました。「必ず満点に戻る」とは言えません。

応用・次の一手

追記の話題の近さ(近い/遠い/遠い+一文)ごとに、提案文が追記に触れた回数を材料別に比べたグループ横棒グラフ。材料1(サイトリニューアル)は、近い話題(フォームの不具合)で6/6、遠い話題(展示会の案内係)で0/6、一文を足すと5/6。材料2(動画ナレーション)は、近い話題(動画の字幕)で6/6、遠い話題(展示会の受付)で3/6、一文を足すと6/6。下の枠には、同じ追記の一文でも本題とどれだけ話題が近いかで拾われ方が変わること、確実に拾わせたいなら話題を近づけるより名指しで頼むほうが安定することが書かれている。
材料1では話題の遠さが強く効いたが、材料2では効き目が弱かった。

自分が募集文・依頼文を書く側でも応用できます。本当に伝えたい前提(予算の上限、譲れない条件など)があるとします。それを本題と無関係に見える場所に切り離して書くと、話題が遠いほど抜け落ちるかもしれません。

情報の「置き場所」が結果を左右するという同じ性質を、別の場面でも確かめています。材料に無い情報を先に挙げさせる記事と、見積もりの前提を先に言うか後に言うかで漏れが変わる記事です。

⚠️ この結果は、この2つの架空の募集文・のべ36回での実測です。次の範囲は確かめていません。

  • 追記が2つ以上ある場合(今回は1つだけ)
  • 話題の近さを3水準以上に分けた場合(今回は近い・遠いの2水準だけ)
  • 「近い」「遠い」の判定は担当が用意した2つの話題ペアによるもので、近さそのものを数値化してはいません

「話題を近づければ必ず拾う」「遠ければ必ず無視される」と一般化せず、大事な情報は指示文4のように名指しで頼むほうが安定します。

今回の生の返り36回ぶんと判定コードは docs/evidence/postscript-lands-only-if-topic-is-close.md に全文置いてあります。