これで何ができるか

基準を固定しても、健全な5件の巻き添えは消えないは、対策を1つ試していませんでした。著者自身がこう書いています。「『〜のような語の有無』という表現を『〜に限らず、同じ意味を持つ表現も含めてください』に変える案は考えられますが、試していません。次に測るなら、そこから始めてください」。

試しました。架空の社内ヘルプデスクへの問い合わせを使い、言い換えた一文を材料2本×各2回ずつ試しています。条件は6つです。

  • 前の記事と同じ健全な5件だけを渡す条件
  • 同じく誤りを1件混ぜた6件を渡す条件
  • 今回新しく足した、「急ぎではない」と自分で書いている依頼を紛れ込ませた条件
  • 誤りと紛らわしい語の両方を同時に混ぜた条件
  • 誤り混入・紛らわしい語混入それぞれに、除外の根拠を引用させる指定を足した条件
工程2の確認指示に足す対策の言い方を変えたとき、健全な5件だけの条件・誤りを1件混ぜた6件の条件・紛らわしい語を1件混ぜた6件の条件で、正しく処理できた回数を比べたマス目。前の記事の「除外の基準を固定する(語そのものの有無)」対策は、健全5件で材料2本×各2回=4回中0回しか正しく処理できなかった。今回、同じ対策を「〜に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて」に言い換えると、健全5件は4回中4回に上がった。誤り混入6件は前の記事も今回も4回中4回のまま。今回新しく試した、急ぎではない依頼を紛らわしい語で混ぜた6件でも4回中4回で、言い換えが緩みすぎて余計なものまで拾う様子は無かった。
基準を狭めて直らなかったものが、緩めたら直った。

健全な5件だけの条件で、巻き添えは前の記事の0/4から4/4に変わりました。除外された項目は0件です。これまで毎回誤って除外されていたHD-2206(「本日15時からの重要な打ち合わせ」)も、4回とも一覧に残りました。この項目は「至急」「今すぐ」「本日中」という語を含みません。誤り混入・紛らわしい語混入・その複合・引用の指定つきの5条件でも、該当する項目だけが4回とも正しく除外され、健全な5件を巻き込む回は1回もありませんでした。全部で24回。材料2本ぶんの記録は docs/evidence/synonym-wording-empties-the-collateral.md に生のまま置いてあります。

前提

かかる時間 20分。工程2の指示文の一文を言い換えるだけです
費用 無料。無料のチャットAIで足ります
必要なもの ブラウザで使えるAI(ChatGPT・Claude・Geminiなど)と、毎朝処理したいテキスト
プログラミング 不要

⚠️ この記事は前の記事の続きです。工程1(至急を抜き出す)、確認あり・確認なしの基本挙動、基準を固定しても直らなかった経緯は、先にあちらを読んでおいてください。

📌 材料は前の記事から引き継いでいます。工程1が実際に抜き出した5件と、誤り1件を人手で加えた6件をそのまま使いました。

  • 材料A: HD-2201・2203・2206・2210・2215(+誤り HD-2211)
  • 材料B: HD-3301・3303・3306・3310・3315(+誤り HD-3311)

AIへの頼み方

1. 健全な5件で、言い換えた基準を試す

変えたのは1か所だけです。「至急」「今すぐ」「本日中」ののようにを、に限らず、同じ意味を持つ表現(類義語・言い換え)も含めてに言い換えました。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、工程1で抜き出した至急5件の一覧を貼ります)

材料2本×各2回、計4回試しました。4回とも、除外した行は0件でした。HD-2206(「PCが起動しません。本日15時からの取引先との重要な打ち合わせ資料が開けず困っています」)は、「至急」「今すぐ」「本日中」という語を一字一句含みません。それでも4回とも一覧に残っています。1回目の返答には「本日◯時までという期限表現も含む」とあり、判断の物差しを広げたことが明記されていました。

2. 誤りを混ぜた6件で、同じ言い換えを試す

指示文は1で使ったものと1文字も変えていません。渡す材料だけを、誤り1件を混ぜた6件に差し替えました。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、工程1で抜き出した至急5件に、誤り1件を人手で足した6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、挿入した誤り(HD-2211/HD-3311)だけが正しく除外され、健全な5件は全部残りました。前の記事の「基準を固定(長い版)」と同じ結果で、こちらは言い換えても崩れていません。

3. 「急ぎではない」と書いてある依頼を混ぜて、行き過ぎていないか確かめる

基準を緩めると、今度は逆に「除外すべきものまで拾えなくなる」おそれがあります。健全な5件に、明らかに至急ではない依頼を1件足して確かめました。

HD-2225: 来週の会議で使う資料のフォーマットを直していただけると助かります。
特に期限はありませんが、早めにいただけると嬉しいです。

「早めに」という言葉は「至急」「今すぐ」「本日中」のどれとも文字が一致しません。言い換えを許した基準が緩みすぎていれば、この依頼も「今日中の対応が必要」側に紛れ込むはずです。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、工程1で抜き出した至急5件に、紛らわしい語を含む依頼を1件足した6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、紛らわしい語の依頼だけが正しく除外され、健全な5件は全部残りました。1回目の除外理由には「『来週使う資料』であり、本人も『急ぎじゃない』と明言している」とありました。本文の言い回し(「来週」「急ぎじゃない」)がそのまま根拠になっています。

4. 誤りと紛らわしい語を同時に混ぜて、両方とも正しく除外できるか確かめる

これまでの2つの落とし穴を1つの一覧に同居させました。誤り(HD-2211/HD-3311)と、紛らわしい語(HD-2225/HD-3320)を両方とも足した7件です。指示文は1〜3と1文字も変えていません。材料だけが違います。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、工程1で抜き出した至急5件に、誤り1件と紛らわしい語を含む依頼1件を人手で足した7件を貼ります)

材料2本×各2回、計4回試しました。4回とも、誤りと紛らわしい語の2件だけが正しく除外され、健全な5件は全部残りました。片方だけを見逃す・巻き添えにするといった崩れ方は、この4回では起きていません。

5. 除外の根拠を引用させる指定を足す(誤り混入6件)

自動実行では、除外理由の文章はどうせ読まれません。前の記事の指示文6と同じく、除外の根拠にした本文の語句を一字一句そのまま引用させる一文を足しました。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、判断の根拠にした本文の語句を一字一句そのまま引用したうえで、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、工程1で抜き出した至急5件に、誤り1件を人手で足した6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、挿入した誤りだけが正しく除外され、引用された語句は本文と一致していました。「引用箇所:『さっきまでは至急直してって言われてたんだけど、もう直ったから急がなくて大丈夫です』」のように、除外の理由が本文そのままの言葉で示されています。

6. 除外の根拠を引用させる指定を足す(紛らわしい語混入6件)

指示文は5と1文字も変えていません。材料だけを紛らわしい語混入6件に差し替えました。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、判断の根拠にした本文の語句を一字一句そのまま引用したうえで、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、工程1で抜き出した至急5件に、紛らわしい語を含む依頼を1件足した6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、紛らわしい語の依頼だけが正しく除外され、引用された語句は本文と一致していました。「引用箇所:『急ぎじゃないけど、早めだと助かります!』」のように、判断の根拠が本文の実在する言葉で確認できます。

健全5件・誤り混入6件・紛らわしい語混入6件・その複合7件・引用の指定を足した誤り混入6件・引用の指定を足した紛らわしい語混入6件の6条件それぞれで、材料2本×各2回=4回ずつ実行し、正しく処理できた回数を比べた横棒グラフ。健全5件は4回とも巻き添えゼロ(HD-2206を含め5件とも残った)。誤り混入6件・紛らわしい語混入6件・両方を混ぜた複合7件は、いずれも4回とも該当項目だけを正しく除外し、健全5件は全部残った。引用の指定を足した2条件も4回とも正しく除外し、除外の根拠として引用された語句は本文と一致していた。6条件24回すべてで、健全な項目の巻き込みも、除外すべき項目の見逃しも起きなかった。
6条件・24回のすべてで、正しい項目だけが正しく除外された。

🔑 狭めて直らなかったものが、緩めたら直りました。前の記事の対策は「語そのものの有無」に絞ったせいで、工程1が意味で拾っていたHD-2206を機械的に落としていました。今回の言い換えは、逆に判断の余地を広げることで、意味を汲む工程1の挙動に近づけています。引用の指定を組み合わせても、この判断の正確さは崩れませんでした。

うまくいかないときの言い直し方

巻き添えが消えても、除外の判断が信用できるか確かめたい

指示文5・6のように、除外の根拠にした本文の語句を一字一句そのまま引用させてください。「類義語・言い換え」を許す基準は、語そのものの基準より判断の幅が広いぶん、根拠の引用がいっそう役立ちます。この記事の4回では、引用はすべて本文と一致していましたが、条件ごとにn=4なので過信はできません。

この言い換えを、他の場面にそのまま持ち込みたい

📌 この記事が確かめたのは6条件×4回=24回だけです。題材は架空の社内ヘルプデスク問い合わせ1つ、材料は2つの言い回しに限られます。この言い換えを、別の分類作業(経費の勘定科目・問い合わせの製品カテゴリなど)にそのまま持ち込んでよいとは言えません。持ち込む前に、自分の材料で同じように2回転(材料を変えて2本、各2回)試してください。

紛らわしい語をもっと難しくしたら、どこかで崩れるはず

今回の紛らわしい語(HD-2225/HD-3320)は、「急ぎではない」「来週」という否定の言葉を自分から含んでいました。否定の言葉すら含まない、もっと巧妙な紛らわしさは試していません。例えば、緊急に見える言葉と緊急でない言葉が同じ文に混ざる依頼です。次に測るなら、そこから始めてください。

応用・次の一手

これで、「AIには工程を分けて頼め」を測った記事から始まった3本の連作が、いったん決着しました。

  1. 工程を分けると、上流の誤りは下流で直るか。答え=「確認は効くが、健全なときほど巻き添えを生む」(doubt-fixes-added-not-dropped
  2. 基準を固定すれば直るか。答え=「誤りには効くが、健全な巻き添えは消えない」(narrowed-criteria-fixes-dirty-not-clean
  3. 基準を緩めて類義語も含めれば直るか。答え=この記事。24回中24回、直った

⚠️ 自動実行に確認の一言を足すなら、まず「のように」を使わず、範囲を明示的に広げる言い方にしてください。「〜のような語の有無」という限定は、確認する工程では字義どおりに縮みます。範囲を広げる側の言葉で書くほうが、意味で判断する工程1の挙動に近づきました。

📌 除外ではなく印を付けるだけにする手は毎日同じ警告に、新しい1件だけ拾わせるの考え方と同じです。今回のように対策で巻き添えを消せた場合でも、自動実行の初日は「除外」ではなく「印を付けるだけ」にして、しばらく人が見てから消す運用のほうが安全です。

⚠️ この記事が実測していないことは2つあります。

  • 否定の言葉を含まない、もっと巧妙な紛らわしい依頼
  • 社内ヘルプデスク以外の題材(経費・在庫・商品カテゴリなど)への横展開