指示文の埋め草のもとを消す——AIが見つけるのは半分だけ

これで何ができるか

毎日走らせている保存指示文（フォルダに置いたプロンプト・チャットに貼っている定型の頼み方）を、AIに読ませて点検させます。「必ず3つ挙げて」のように、書くことが無い日でも数を埋めさせてしまう指定を探させる頼み方です。プログラミングは要りません。

「注目されています」のような当たり障りのない一文が混ざるという記事で、原因は指示文の側にある「行数を決める」「3行でまとめる」のような下限指定だと分かりました。今回はその一文を、自分の指示文の中から実際に見つけられるかを測りました。

架空の「保存指示文」を3本（受信箱の仕分け／表の点検／記録の要約）作り、それぞれに下限を強制する指定8個と、上限だけの安全な指定8個（「最大3行」のような、埋め草を起こさないもの）を1個ずつ仕込みました。3つの頼み方で18回試した結果です。

見つかったのは8個中平均4個。半分止まりでした。「必ず3つ挙げて」は18回中18回とほぼ全数で見つかる一方、「5段階で点数をつけてください」「各項目に一言添えてください」は18回中2回しか見つかりませんでした。数を挙げさせる指定は目に付きやすく、採点や一言コメントのような分量指定は見落とされやすい、という偏りです。

一方で良かったこともあります。上限だけの安全な指定を「危険」と間違えた回は、144件中0件でした。見つからないことはあっても、余計な警告は出ません。

前提

指示文が短い（数行）と、そもそも仕込まれている数が少ないのでこの記事の話はあまり効きません。5節以上ある、少し込み入った保存指示文で効果が出ます。

AIへの頼み方

1. まず、指示文をそのまま貼って聞く

この下に、点検したい保存指示文をそのまま貼ります。6回中5回は「候補から必ず1つ選んで」「良い点と悪い点を同数で」のような指定を、根拠と直し方つきで挙げました。見た目の危なさが分かりやすい指定はよく拾います。

ただし「5段階で点数をつけてください」「各項目に一言添えてください」は、6回とも1回も挙がりませんでした。数を挙げさせる指定に比べて、採点や一言コメントは「埋め草の原因」として気づかれにくいということです。

2. 「下限だけ挙げて」と絞ってみる。ただし精度は上がらない

的を絞れば見落としが減りそうに思えますが、実際は逆でした。同じ頼み方の6回で、見つけた個数が1個の回と7個の回に分かれました。絞り込みの言葉自体が、AIの基準を厳しくしたり緩めたりして、回によって拾う範囲がぶれます。

3. 「書くことが無い日に何が出るか」を1行足す

具体的な被害を書かせると、答えが安定するかを試しました。ばらつきは小さくなりましたが（4〜6個で安定）、見つかる個数の平均は1.の「そのまま聞く」とほぼ同じでした。「何が出るか」を書かせても、見つける範囲そのものは広がりません。

4. 一度に「全部見直して」まで頼むと、かえって減る

「全部見直して」まで最初から1つの指示に詰め込めば、より丁寧に探すはずだと思って試しました。結果は逆で、3回（材料ごと1回・新規の会話）で見つけた個数は3個・1個・3個。丁寧な除外理由をつけて、候補を自分で棄却する方向に働きました。1つの返答の中で「5段階で点数を」を候補として挙げながら、結論では見送った回もありました。

5. あとから「もう一度全部見直して」と1問重ねる

4.と違うのは、最初に1.を聞いた同じ会話に、あとから2手目としてこの1文を重ねることです。

1.〜4.のどの頼み方でも見つからなかった「5段階で点数をつけてください」を、この1文を重ねた3回とも見つけました。同じ材料・同じ会話なのに、1手目では出てこなかったものです。

6. なぜ見逃すのか——逃げ道が本当にかかっているか確認する

見逃す理由を確かめるために、5.の続きでさらに1問重ねました。分かったのは、「無ければ空欄でよい」という逃げ道が近くにあっても、実は隣の指定にかかっていて、本当に危ない指定には届いていないケースがあったことです。「5段階で点数をつけてください」の2行後に空欄可の一文があっても、その一文は文脈上「表の全欄を埋めてください」の方を指しており、点数指定そのものには逃げ道がありませんでした。近くにあるかどうかではなく、同じ話題の文の中にあるかどうかで確認する必要があります。

うまくいかないときの言い直し方

1回で全部見つかったと思ってよいか不安

1回だけの結果では「見つけ切った」とは言えません。今回の実測でも、1.〜4.のどの頼み方も、8個中2〜3個（5段階・一言・◯行でまとめて）を毎回のように見落としました。5.の「もう一度全部見直して」を、同じ会話にもう1問重ねるのが、今回いちばん効いた形です。

どの指定を先に直せばよいか迷う

見つけた指定の直し方は、今回の27回すべてで「下限を外す・逃げ道を足す」方向でした。「もっと強く言えば直る」という提案は1件もありません。「必ず3つ」を「最大3つ、無ければ0件でよい」に変える、「同数で挙げて」を「無ければ『特になし』でよい」に変える、といった向きだけで足りるということです。

応用・次の一手

見つかった指定は、その場で直すだけで終わらせず、月に1回、この指示文を貼って同じ点検を通す運用にすると、定期実行させたAIが「本当に動いたか」を、自分で確かめると同じ形になります。指示文自体が育っていく（節が増える・条件が増える）ほど、あとから埋め草の指定が紛れ込みやすくなるためです。

見つけた指定に対して逃げ道を足したら、わざと壊して試すの要領で、実際に材料が薄い日を想定した架空データを1本作り、直す前と直した後で本当に埋め草が消えたかを確かめてください。「直したつもり」で終わらせないのが、「できました」を鵜呑みにしないと同じ考え方です。

もとの記事である「注目されています」を書かせない頼み方も、あわせて読んでください。埋め草がどんな形で出てくるかの実例です。