これで何ができるか

緊急語が入っても仕分けは崩れないという前作は、最後にこう書いて終わっていました。「今回の紛らわしい語は『急ぎではない』『来週』という否定の言葉を自分から含んでいました。否定の言葉すら含まない、もっと巧妙な紛らわしさは試していません。例えば、緊急に見える言葉と緊急でない言葉が同じ文に混ざる依頼です」。この記事はその先です。プログラミングは要りません。

結論は3つです。

  1. 除外の基準を「至急」「今すぐ」「本日中」という語そのものの有無で固定した、古い指示文があります。そこに「至急対応をお願いしたい件ですが、来週分の定期メンテナンスでまとめて直していただければ結構です」という依頼を混ぜました。8回中7回、一覧に残ってしまいました。除外の根拠を引用させる指定を足しても、7回中3回は同じように残りました。
  2. 前作で確立した指示文に差し替えました。除外の基準を「類義語・言い換えも含める」と広げたものです。6件条件・既存の誤りと同時に混ぜた7件条件、引用の有無の4通り×各4回=16回を試しました。16回すべてで、この依頼だけを正しく除外できました。
  3. 健全な5件への巻き添えは、古い指示文・新しい指示文を合わせた24回すべてで0件でした。
4条件(基準緩和版・引用指定版×6件条件・7件条件)それぞれで4回ずつ実行し、健全な項目を巻き込まず該当項目だけを正しく除外できた回数を比べた表。基準緩和版(引用なし)・6件条件は4回中4回。引用指定版・6件条件は4回中4回。既存の誤りも同時に混在させた7件条件は、基準緩和版・引用指定版ともに4回中4回。合計16条件・16回すべてで、健全な5件の巻き添えも、紛れ語・既存の誤りの見逃しも起きなかった。
新しい基準は16回中16回、古い基準は8回中1回しか正しく除外できなかった。

📌 この記事は運営者がこの依頼を受け取った記録ではありません。架空の社内ヘルプデスク1つを材料に、独立したAIへの呼び出しで試した結果です。n は条件ごとに4〜8なので、他の題材にそのまま当てはまるとは言えません。

前提

かかる時間 20分
費用 無料。無料のチャットAIで足ります
必要なもの ブラウザで使えるAI(ChatGPT・Claude・Geminiなど)と、至急かどうかを自動で仕分けたい一覧
プログラミング 不要

⚠️ この記事は「AIには工程を分けて頼め」3部作の続きです。工程1(至急を抜き出す)、基準を固定しても直らなかった経緯、基準を類義語まで広げたら直った経緯は、先にあちらを読んでおいてください。

📌 材料は前作から引き継いでいます。健全な5件(HD-2201・2203・2206・2210・2215/HD-3301・3303・3306・3310・3315)と、既存の誤り1件(HD-2211/HD-3311)はそのままです。今回、否定の言葉を含まない新しい紛れ語(HD-2230/HD-3330)を1件ずつ足しました。

  • 材料A: 健全5件+HD-2230「至急対応をお願いしたい件ですが、システムの表示崩れ自体は軽微なので、来週分の定期メンテナンスでまとめて直していただければ結構です」
  • 材料B: 健全5件+HD-3330「今すぐ確認してほしい件が1つありますが、月末の定例報告にまとめて記載していただければ結構です。入力フォームの文言が少しずれているだけです」
前作の紛れ語と今回の紛れ語の違いを示す図。上段=前作が試した紛れ語は「特に期限はありませんが」のように否定語を自分から含んでいた。下段=今回の紛れ語は「至急対応をお願いしたい件ですが、来週分の定期メンテナンスでまとめて…結構です」のように、否定語は無く「至急」という緊急語自体が本文に実在する。下の枠には、結果はそれでも16回中16回正しく除外されたこと、判断の根拠は語の有無ではなく文全体が指す対応時期だったことが書かれている。
今回は「否定語がない」だけでなく、緊急語そのものが本文にある。

HD-2230・HD-3330はどちらも「至急」「今すぐ」という語を一字一句含んでいます。語の有無だけを見る基準なら、この2件は「至急」側に数えられてしまうはずです。

AIへの頼み方

1. 古い基準(語そのものの有無だけで固定)に、紛れ語を混ぜて試す

まず、前作が「狭すぎて直らなかった」と結論した古い指示文を、そのまま使います。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」のように今日中の対応が必要だと分かる語が本文にあるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、健全5件に紛れ語1件を足した材料Aまたは材料Bの6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、紛れ語(HD-2230/HD-3330)は除外されず一覧に残りました。1回目の返答にはこうありました。「HD-2230: 『至急』の語があるため一覧に残しました。ただし本文では来週の定期メンテナンスでの対応でよいとされています」。AI自身が「今日中ではない」と分かっていても、指示文が語の有無だけを基準にしているため、そのまま残しています。

2. 同じ古い基準に、根拠を引用させる指定を足して試す

「除外した理由を本文の語句で引用させれば、語の有無に頼らず正しく判断するのではないか」を確かめます。指示文は1から、除外時の引用指定だけを足しました。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」のように今日中の対応が必要だと分かる語が本文にあるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、判断の根拠にした本文の語句を一字一句そのまま引用したうえで、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、健全5件に紛れ語1件を足した材料Aまたは材料Bの6件を貼ります)

材料2本×各2回、計4回試しました。4回中3回は、やはり一覧に残りました。引用を義務づけても、基準そのものが語の有無で固定されていれば、効果は限られています。4回中1回だけ、本文を読んで「今日中の対応が必要だと分かる語がないため」と正しく除外した回がありましたが、再現性はありません。

3. 広い基準(類義語・言い換えも含める)に戻して、紛れ語を試す

前作で確立した指示文です。変えたのは「〜のように」を「〜に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて」に言い換えた1か所だけです。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、健全5件に紛れ語1件を足した材料Aまたは材料Bの6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、紛れ語だけが正しく除外され、健全な5件は全部残りました。1回目の除外理由はこうでした。「HD-2230: 『至急対応をお願いしたい』とあるが、『来週分の定期メンテナンスでまとめて直していただければ結構』とも書かれている。今日中の対応は不要と読み取れるため外した」。語の有無ではなく、文全体が指す対応時期で判断しています。

4. 同じ広い基準に、引用の指定を足して試す

指示文は3に、2と同じ引用指定を足しました。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、判断の根拠にした本文の語句を一字一句そのまま引用したうえで、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、健全5件に紛れ語1件を足した材料Aまたは材料Bの6件を貼ります)

材料2本×各2回、計4回試しました。4回とも、紛れ語だけが正しく除外されました。引用された語句も本文と一致していました(例:「月末の定例報告にまとめて記載していただければ結構です」)。

5. 広い基準に、紛れ語と既存の誤りを同時に混ぜて試す

これまでの2つの崩し方(誤り・紛れ語)を1つの一覧に同居させました。指示文は3と1文字も変えていません。材料だけが、健全5件+既存の誤り1件(HD-2211/HD-3311)+新しい紛れ語1件(HD-2230/HD-3330)の7件に変わります。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、健全5件に既存の誤り1件と新しい紛れ語1件を足した材料Aまたは材料Bの7件を貼ります)

材料2本×各2回、計4回試しました。4回とも、誤りと紛れ語の2件だけが正しく除外され、健全な5件は全部残りました。片方だけを見逃す、巻き添えにするといった崩れ方は、この4回では起きていません。

6. 同じ7件条件に、引用の指定を足して試す

指示文は5に、引用指定を足しました。4と1文字も変えていません。

下は、至急(今日中の対応が必要)と判断された問い合わせの一覧です。ただし、並べる前に、渡された各行が本当に「至急(今日中の対応が必要)」に該当するか、本文を確認してください。除外する基準は、「至急」「今すぐ」「本日中」に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて、今日中の対応が必要だと分かるかどうかだけにしてください。業務が止まっているかどうかなど、それ以外の基準で除外しないでください。該当しないと判断したら、その行は一覧から外し、判断の根拠にした本文の語句を一字一句そのまま引用したうえで、外した理由も書いてください。そのうえで、対応の緊急度が高い順に並べ替えて、それぞれに一言、対応方針を添えてください。並べ替えた一覧だけを出してください。 (ここに、健全5件に既存の誤り1件と新しい紛れ語1件を足した材料Aまたは材料Bの7件を貼ります)

材料2本×各2回、計4回試しました。4回とも、誤りと紛れ語の2件だけが正しく除外されました。これで、広い基準は6件条件・7件条件、引用の有無を含めた4通り×各4回=16回すべてで崩れませんでした。

うまくいかないときの言い直し方

「語の有無」で基準を書いている指示文が、まだ残っている

「至急」「今すぐ」「本日中」のように、具体的な語を例示する書き方そのものが危険です。指示文3・4のように「〜に限らず、同じ意味を持つ表現(類義語・言い換え)も含めて」と、範囲を明示的に広げる言い方に直してください。前作が確立した言い換えです。

引用させているのに、まだ崩れることがある

指示文2の結果が示すとおり、引用の指定は基準の狭さを補いません。根拠の引用は「除外した判断が信用できるか」を事後に確かめる手段であって、判断そのものを広げる手段ではないと考えてください。基準を直す(指示文3・4)ほうが先です。

この紛れ語を、もっと難しくしたらどうなるか

📌 この記事が確かめたのは、否定の言葉を含まない紛れ語1種類だけです。今回の紛れ語は「来週分の定期メンテナンスで」「月末の定例報告に」という具体的な先送り先を自分から書いていました。先送り先を書かず、単に優先度だけを下げる言い方(「他の作業が立て込んでいればそちらを先で構いません」など)は試していません。次に測るなら、そこから始めてください。

応用・次の一手

これで、「AIには工程を分けて頼め」から始まった3本の連作に、4本目が加わりました。

  1. 工程を分けると、上流の誤りは下流で直るか。答え=「確認は効くが、健全なときほど巻き添えを生む」(doubt-fixes-added-not-dropped)
  2. 基準を固定すれば直るか。答え=「誤りには効くが、健全な巻き添えは消えない」(narrowed-criteria-fixes-dirty-not-clean)
  3. 基準を緩めて類義語も含めれば直るか。答え=「24回中24回、直った」(synonym-wording-empties-the-collateral)
  4. この記事。否定の言葉を含まない、緊急語そのものが入った紛れ語でも直るか。答え=「16回中16回、直った。ただし古い基準に戻すと8回中7回すり抜ける」

⚠️ 自動仕分けのルールに「至急」「今すぐ」のような例示語を書くときは、必ず「〜に限らず」と範囲を広げる一言を添えてください。例示した語そのものが依頼文に紛れ込んでも、この言い方なら正しく仕分けられます。

📌 自動仕分けを新しく始めるときは、最初から除外しないほうが安全です。毎朝3件だけ見る検品と同じ考え方です。最初の数日は「除外」ではなく「印を付けるだけ」にしてください。しばらく人が見てから消す運用に切り替えます。

⚠️ この記事が実測していないことは2つあります。

  • 先送り先を書かず、優先度だけを下げる言い方の紛れ語
  • 社内ヘルプデスク以外の題材(経費・在庫・商品カテゴリなど)への横展開