これで何ができるか
毎朝ひとりでに走る自動チェックの指示文に、「これは重要です」「見逃すと困ります」「よく確認してください」と念を押す一文を足しても、見逃しは減りませんでした。プログラミングは要りません。
3種類の欠陥すべてで、念押しの有無による検出数の差は0でした。架空のメルマガ下書き12件・セミナー案内下書き12件の2種に、割引率や参加費の食い違い・過去日・決まり文句の条件抜けを3件ずつ仕込み、材料2本×各2回=計8回の独立した会話で「確認して」だけの指示と「重要です・見逃すと困ります」を足した指示を比べました。
差が出たのは、念押しの有無ではなく材料の作り方でした。同じ「決まり文句の条件が抜けている」という欠陥でも、長い文の末尾(金額の条件)だけを削った号は0/4でしか気づけず、文をまるごと削った号は4/4で気づけました。念押しを強くしても、この差は埋まりませんでした。
前提
- 毎朝または毎回、AIに同じ形の一覧(メールの下書き・申込データ・投稿予定など)を確認させていること
- その一覧に、件名と本文で数字が食い違う・日付が過去になっている・決まり文句の一部が抜けている、のような欠陥が混ざりうること
- 「もっと確認の精度を上げたい」ときに、まず念押しの一文を足すという発想に心当たりがあること
この記事は、点検の条を作る話ではありません。点検そのものの作り方は毎朝の材料が今日ぶんかを、走らせるたびに数えさせるに、直したあとに緩みが出ないかを試す話は毎朝の誤報を1件だけ止めるにあります。ここで扱うのは、「よく確認してください」で本当に確認の質が上がるのか、その1点だけです。
AIへの頼み方
1. まず、念押しなしで確認させる(基準値)
(この下に、12件の下書き一覧をそのまま貼ります)
今回の材料は、架空のネットショップのメルマガ下書き12件です。件名と本文で割引率が食い違う号(件名「全品30%オフ」・本文「20%オフ」)、配信予定日が過去になっている号(他は9/15〜9/20なのに1件だけ9/10)、送料無料の条件(「5,000円以上のご注文で」)だけが抜けている号の3件を仕込みました。
新規の会話2回とも、割引率の食い違いと過去日は拾いました。しかし条件が抜けている号は、2回とも見逃しました。2回目は「送料無料条件の記載など特に矛盾は見当たりませんでした」と、その号を名指しで「問題なし」と判定しています。
なぜ行番号ではなく自由文で書かせるのか。この記事で調べたいのは「気づけるかどうか」そのものなので、返答の形式を絞りすぎると、絞った形式のほうが結果に影響してしまいます。まず素の書き方で試すのが基準になります。
2. 同じ材料に、念押しの一文を足す
材料は指示文1とまったく同じ12件です。変えたのは、末尾に足した3つの念押し文だけです。
結果は、指示文1と一致しました。割引率の食い違いと過去日は2回とも拾い、条件が抜けている号は2回とも見逃しました。1回目は「送料無料条件の表記...目立った矛盾は見当たりませんでした」と、やはり名指しで問題なしと判定しています。
「見逃すと困ります」「よく確認してください」という言葉が、見逃した号を1つも減らしませんでした。
3. 別の下書き(セミナー案内)で、同じ2本の指示文をもう一度試す
指示文はどちらも1文字も変えず、材料だけ差し替えます。
材料は架空のセミナー案内下書き12件で、件名「参加費無料」なのに本文が「参加費3,000円をいただきます」となっている号、開催日が過去になっている号(他は9/20〜9/25なのに1件だけ9/08)、「オンライン参加の方には後日、資料と録画を送付します」という一文がまるごと抜けている号の3件を仕込みました。
こちらは、念押しの有無にかかわらず4回とも満点でした。参加費の矛盾・過去日・オンライン向け一文の抜け、3件とも4回中4回すべてで指摘されています。
同じ「条件が抜けている」という欠陥なのに、メルマガでは0/4、セミナー案内では4/4でした。違いは念押しではなく、抜けた量です。メルマガは長い文の末尾(「(5,000円以上のご注文で)」)だけを削り、セミナー案内は一文(「オンライン参加の方には後日、資料と録画を送付します」)をまるごと削りました。一部分だけ削った欠落のほうが、圧倒的に見つかりにくいということです。
4. 見つからなかったとき、文言をそのまま比べさせる
材料はメルマガ12件(見逃しが起きた側)のままです。「一言一句そろっているか比べて」と一文を足しました。
1回目は的中しました。「他の号はすべて『送料無料(5,000円以上のご注文で)』という条件付きの定型文で一言一句そろっていますが、この号だけ条件が消えて」と、抜けた号を名指しで指摘しています。ところが2回目は、同じ指示文なのに「その他の号は矛盾は見当たりませんでした」と、また見送りました。
「比べて」と頼んでも、2回に1回は素通りするということです。念押しよりは効きましたが、確実ではありません。
5. 数字の突合・文言比較・日付確認をまとめて、具体的に指示する
材料は同じくメルマガ12件です。「何を、何と比べるか」を3点とも名指ししました。
2回とも、3件の仕込みを全部拾いました。割引率の食い違い・過去日・条件の抜け、すべて2/2です。「念押し」ではなく「何を比べるか」を具体的に書くと、見逃しが直りました。
6. ただし、具体的な指示が新しい誤検知を生むことがある
指示文5の2回目の返答を見ると、正しく10%オフだった号(11,000円→9,900円)を「本当は約8.2%オフです」と誤って指摘していました。実際には11,000円から9,900円は1,100円引きで、ちょうど10%です。AI自身が1,100円を900円と引き算し間違えたための、新しい誤検知です。
「数字を突き合わせろ」という指示は、見逃しを減らす代わりに、AI自身の計算ミスという別の穴を開けることがあります。この記事の実測では2回中1回で起きました。人が最終確認する仕組みを、指示文を強めたあとほど外さないでください。
うまくいかないときの言い直し方
念押しをどれだけ強くしても、変わる気配がない
この記事の実測では、「見逃すと困ります」を「見逃すと、そのまま配信されてしまいます」まで具体化しても、検出数は1つも動きませんでした。念押しの強さを競うのは、この種の見逃しには効きません。
効いたのは、指示文5のように「件名と本文の数字を突き合わせる」「決まり文句を一言一句比べる」「日付を本日と比べる」と、何を・何と比べるかを名指しすることでした。念押しの一文を書き足す前に、まず「AIに何を比べさせたいのか」を自分の中で言葉にしてください。
「比べて」と頼んでも、また見送られた
指示文4のように「一言一句比べて」とだけ足しても、この記事の実測では2回に1回しか効きませんでした。「比べて」だけでは、何を比べるかがまだ曖昧です。
条件が抜けやすい決まり文句(送料無料の条件、参加費の記載、オンライン案内の一文など)がある場合は、指示文5のようにその決まり文句の名前を具体的に書いてください。「他の号と比べて」ではなく「送料無料の条件(金額の下限)が他の号とそろっているか」まで書くと、比べる対象がAI任せになりません。
具体的な指示のあとに、新しい誤検知が出た
この記事の実測では、誤って指摘された号を言い直させるところまでは試していません。指示文を強めるほど、AI自身の計算やAI自身の判断が入り込む余地も増えます。自動化に組み込むときは、「何を比べさせるか」を具体化した指示文のあとに、金額の計算だけを別途もう一度させるか、最終的な指摘を人が1回だけ目で見る工程を残してください。
応用・次の一手
この記事は、「AIには重要性を伝えると精度が上がる」という発想を実際に試しに行った記録です。この材料・この指示文・この12回では、念押しは検出数を1つも動かしませんでした。役割(ペルソナ)を与える定説を試したAIに役割を与える効果を確かめるでも、動いたのは正しさではなく書き方の癖だけでした。「説得力を持たせる言い回し」の家族は、この2本ではどちらも中身の正しさを動かしていません。
同じ形の見逃しは、毎朝の点検全般に出ます。自分で作った検査を、わざと壊して確かめるは検査そのものが鳴るかを試す話で、この記事は同じ検査でも、欠陥の見せ方(一部だけ削るか、まるごと削るか)で見つかりやすさが変わるという話です。「AIに何件見せれば足りるか」を測った毎朝の出来ばえを3件で見張るとも、道具立て(不良を仕込んで複数回通す)は同じですが、あちらが動かしたのは見せる件数、この記事が動かしたのは念押しの強さです。欠落の数を動かした材料の抜けは「1つだけ」がいちばん見逃されるとは対になる話で、この記事で差が出たのは欠落の大きさ(条件の一部だけを削るか、一文をまるごと削るか)のほうでした。
毎回の確認指示に念押しを足しても効かなかったら、次に試すのは強さではなく具体性です。「よく確認して」を、「◯◯(決まり文句・数字・日付)が他の号とそろっているか比べて」に書き換えてみてください。ただし、指示を具体的にするほど、指示文6で見たようなAI自身の計算ミスという新しい誤検知も出てきます。強めた指示文を自動化に組み込むときほど、最後にもう一段、確認の目を残してください。
📌 この記事は「読む側(AI)に念を押すか」を動かしましたが、送る側(複数の相手)の書き方がそもそも違う場合は、動かす変数が逆になります。複数の相手の緊急度を仕分けるは、相手ごとに緊急の伝え方の型が違うと、1つの基準では8件中4件を見落とすことを実測しています。