工程2に確認させると誤りは直る——健全なときほど、正しい項目を巻き添えにする

これで何ができるか

「AIには工程を分けて頼め」を測った記事には、著者自身が書いた未測定事項がありました。「上流が判定を間違えた回も、16通しで1回しか起きなかったので、『上流の誤りが下流で直るか』はほとんど測れていません」。

測りました。架空の社内ヘルプデスクへの問い合わせ16件を2本用意し（A＝丁寧な長文のメール調／B＝口語の社内チャット調）、工程1に「至急（今日中の対応が必要）かどうか」を判定・抜き出しさせ、工程2に「並べ替えと対応方針づけ」をさせるという2段構えを組みました。材料2本×独立の新規会話で各2回＝計4回。工程2は確認なし版と、「渡された行が本当に至急に該当するか、本文を確認して」と一言足した版を比べています。

分かったことは3つです。

① 工程1の判定は、4回とも一字一句同じでした。独立の新規会話4回（材料2本×各2回）で、抜き出した5件・落とした2件・紛れ込み0件のすべてが完全に一致しています。② 工程2に「本当に該当するか確認して」と足すと、わざと混ぜた誤りは4/4で見つけました。意図的に挿入した「もう解決した至急」を、確認版は4回とも正しく検出しました。③ ところが、その同じ一言は、何も間違っていない健全な5件だけを渡した回でも、4/4で正しい項目を1件ずつ誤って除外しました。確認させると、直すはずが減らす方向にも動くことがあります。

前提

⚠️ 「確認させれば安心」という単純な話ではありません。この実測で分かったのは、確認の一言には利き目（実際の誤りを見つける力）と副作用（正しいものまで削る力）の両方があるということです。

📌 数字はすべて架空データでの実測です。問い合わせ16件のうち7件が「至急」、9件が「至急ではない」で、走らせる前にコードではなく人手で決め、この記事に先に書いてあります。工程1の実測では、意図的に仕込んだ「紛れ込みやすい誤り」の行が一度も紛れ込まなかったため、工程2だけを直接試す用に、その行を人手で1件追加した6件版も別に用意しました（本文でそのつど明記します）。

AIへの頼み方

1. 工程1：至急かどうかを判定して抜き出す

このあとに16件を貼ります。真値は7件が「至急」でした。独立の新規会話（このセッションの文脈を共有しない別々のAI呼び出し）で、材料A・Bそれぞれ2回ずつ、計4回試しました。

4回とも、一字一句まったく同じ5件が返りました。丁寧な長文の材料（A）は毎回この5件です。

HD-2201・HD-2203・HD-2206・HD-2210・HD-2215

口語の材料（B）も、4回とも同じ5件でした（HD-3301・HD-3303・HD-3306・HD-3310・HD-3315）。4回とも共通して落とした2件は、こういう書き方です。

HD-2208: 明日の朝一の役員会議で使うプレゼン資料のファイルが、共有フォルダから開けなくなっています。 HD-2213: 取引先との打ち合わせがまもなく始まるのですが、会議用PCのマイクから音が出ません。ご確認いただけますでしょうか。

どちらも今日中に対応しないと本当に困る内容ですが、「至急」「今すぐ」「本日中」のどの語も本文に無いため、2材料×2回＝4回とも一度も拾われませんでした。🔑 一方で、「急ぎではない」と明言された行や、時間が経って無効になった「至急」を含む行は、4回とも一度も誤って紛れ込みませんでした。この実測に関しては、工程1の判定は揺れも紛れ込みも無く、抜け漏れだけが安定して起きた格好です。

2. 工程2：抜き出された一覧を、確認なしでそのまま並べ替える

工程1の実出力（5件・誤りなし）をそのまま渡すと、4回とも5件全部が残り、それぞれに妥当な対応方針が付きました。ここでは確認あり・なしの差は出ません（渡された5件に誤りが無いためです）。

差が出たのは、工程1の出力に、意図的に挿入した誤りの行を1件だけ人手で足した6件を渡したときです。

HD-2211: 先週の時点では「至急対応してほしい」とのことでしたが、その後解決したそうなので、いまは急いでいません。念のため経緯だけ共有します。

これを確認なし版に渡すと、こう返りました。

HD-2211: 先週の件は解決済みで現在は急ぎではありません。対応不要、記録の確認のみで結構です。

🔑 「除外して」と頼んでいないのに、内容の矛盾には自分から気づきました。ただし一覧の行自体は消えません。対応方針の欄に「対応不要」と書かれるだけで、この行は最後まで6件のうちの1件として残り続けます。

3. 工程2に「本当に該当するか確認して」と一言足す

挿入した誤り（HD-2211）を含む6件を渡すと、4回中4回で正しく検出し、うち3回は一覧から明確に除外しました。

一覧から外した行: HD-2211: 先週は至急だったが、本文中で「その後解決した」「いまは急いでいない」と明記されており、現時点では至急対応が不要なため除外しました。

🚨 ところが、同じ確認の一言を、誤りの無い健全な5件だけに使うと、話が変わりました。4回とも、確認版は正しい項目を1件誤って除外したのです。

各行を本文で確認したところ、HD-2203は「17時までに確認してもらえますか」という依頼で、業務が止まっている・作業ができないといった支障の記述がなく、緊急対応が必要な状態とは言えないため一覧から外しました。

HD-2203は真値どおり至急（「本日17時までに」と明記済み）でした。確認版は、工程1の基準（「至急」「今すぐ」「本日中」のような語があるか）ではなく、自分で作った別の基準（「業務が止まっている記述があるか」）に照らして、この行を落としています。口語の材料（B）でも、2回とも同じ現象が起きました。除外されたのはHD-3310（「今すぐ！ ログインできない、仕事にならないです」という、これも至急の明記がある行）です。

整理すると、確認あり版は8回中——挿入した誤りを含む4回では誤り検出4/4・巻き添え0/4。誤りの無い健全な4回では巻き添え4/4。「確認して」は、間違いを見つける力は強いが、間違いが無いときにも何かを見つけようとする、という性質を持っていました。

4. 材料Bでも同じ3本を試す

口語の材料Bも、丁寧な長文の材料Aとほぼ同じ結果になりました。違いが出たのは1点だけ——確認なし版に挿入した誤り（HD-3311）を渡した2回のうち、1回は一覧の行としては除外されず「対応不要」という注記どまりでしたが、もう1回は正しく一覧から除外されました。除外の徹底度合いは、確認を明示的に指示していない条件では回によって揺れます。確認を明示的に指示した条件（指示文3）では、材料A・Bとも4回中4回で検出という結果は変わりませんでした。

うまくいかないときの言い直し方

確認を足しても、抜けた分は一覧に出てこない

これは工程2の指示文の書き方の問題ではありません。工程2は工程1が渡した行しか見られないので、渡されなかった行を「本当に該当するか確認して」と言われても確認しようがありません。HD-2208・HD-2213のような行は、確認あり・確認なしどちらの版でも、のべ8機会中0回しか最終の一覧に現れませんでした。

📌 直すべきは工程2ではなく工程1です。「本文に至急という語が無くても、明日の予定に間に合わせるために今日中に必要な作業は含めてください」のように、工程1側の判定基準を広げる必要があります。⚠️ この一文は今回の実測では試していません。試すなら、それは次の実測になります。

確認を足すと、正しい項目まで一緒に消える

誤りの無い健全な5件だけを渡した4回すべてで、確認版は正しい項目を1件誤って除外しました。除外された項目は材料をまたいでも共通の型があり、どちらも「期限は明記されているが、業務停止という言葉が無い」行でした（HD-2203＝17時までの確認依頼、HD-3310＝「今すぐ」だが具体的な期限の記述が薄い）。

📌 工程2は、確認を頼まれると、指示文が示した基準より狭い基準を自分で作ってしまうことがあります。対策の候補は「除外する基準は、工程1と同じ語（至急・今すぐ・本日中）の有無だけにしてください。業務停止の有無などの別の基準を作らないでください」のように、基準をこちらで固定することです。⚠️ この一文も今回の8回のどこにも試していません。

🔑 興味深いのは、挿入した誤りを扱った4回では、この巻き添えが1回も起きなかったことです。確認して見つけるべきものが実際にあるときは基準がぶれず、無いときにだけ基準がぶれる——この非対称性が偶然かどうかは、今回の4回×2条件では言い切れません。

確認なしでも、矛盾には気づくが、行は消えない

「対応方針を添えて」という指示だけでも、工程2は本文を読んで矛盾（「至急」と書いてあるのに解決済み、という記述）に自分から気づきました。ただし一覧の行そのものは消えません。自動化の中でこの出力をそのまま人に転送すると、「対応不要」という注記を読み飛ばして、件数だけ見た人が「至急6件」と誤解する可能性があります。

📌 人が最後に目を通す運用なら、確認なし版の「気づくが消さない」ほうが安全かもしれません。確認あり版は行を消してくれますが、無実の項目も一緒に消すことがあるためです。⚠️ どちらが良いかは、確認あり版の巻き添えをどれだけ許容できるかで決めてください。

応用・次の一手

「本当に該当するか確認して」は、無料の万能薬ではありませんでした。わざと混ぜた誤りは4/4で見つけましたが、何も間違っていないときにも4/4で正しい項目を1件減らしました。足すか足さないかは、渡す一覧に誤りが混ざる可能性の高さと、正しい項目を1件失う代償を天秤にかけて決めてください。

⚠️ 確認を足しても直らないものもあります。工程1が黙って落とした行は、工程2をどう直しても最終の一覧には現れません。自動化の中で本当に怖いのは、間違って紛れ込む側より、気づかれずに消える側です。

📌 「AIには工程を分けて頼め」を測った記事の続きです。あちらが測ったのは「分けると精度が上がるか」で、この記事が測ったのは「分けたあと、下流に疑わせると上流の誤りが直るか」でした。答えは一部だけ「はい」——紛れ込んだ誤りは4/4で見つかる。でも健全なときほど、確認そのものが新しい誤りを生む。消えた側は、どうやっても直らない。

⚠️ 測っていないことも書いておきます。除外の基準をこちらで固定する言い直し（上の「言い直し方」参照）は試していません。今回は誤りの型を1種類（時間的に無効化された至急）だけ試しており、他の型の誤りでも同じ巻き添えが起きるかは未測定です。渡した材料を毎回数えさせるや2回ぶんの出力を自分で見比べるの要領で、自分の材料でも複数回は突き合わせてください。