これで何ができるか

毎朝の判定作業を、フォルダの中身を選り分けずにそのままAIへ渡してよいかを確かめた記録です。関係する資料だけを渡した場合と、先月のログ・別部署のメモ・古い判定基準・献立表という無関係な資料4本を混ぜて渡した場合を、5つの頼み方×各2回・計10回で突き合わせました。プログラミングは要りません。

架空の設定は、毎朝の会員制セミナー申込みの受付処理です。当日の受付ログ12件を、判定基準(5条)に照らして「案内メールを送る対象=該当」を抜き出します。これ自体は散らかったファイル・フォルダの整理をAIに手伝わせる材料が古いのを見張ると同じ「毎朝ひとりでに回す」形の作業ですが、あちらが扱っていないのは「関係あるものだけを選んで渡す手間を省いて、フォルダごと渡してよいか」という一点です。

仕込みは2つ。①先月のログに、今日の基準をそのまま当てはめると該当しそうに見える5件を混ぜる ②古い判定基準は、今の基準と2か所だけ違う(人数の閾値と、キャンセル待ちの例外救済の有無)。どちらも、答えに紛れ込めば機械で見つけられる形にしてあります。

無関係な資料を混ぜた本数(0〜4本)を横棒で示し、その右に答えに紛れ込んだ件数を試行回数分の分数で示した図。関係する3本だけの版・献立表を1本足した版・無関係4本を混ぜた版・使わないでと明記した版・使った資料を書かせた版の5つとも、混入は0/2で、10回通しても0/10だった。先月ログには今日の基準に当てはめると該当しそうに見える5件をわざと仕込んだが、10回とも1件も答えに出てこなかった。5版とも該当5件は10回とも一致し、旧い判定基準を使ってしまった回も0回だった。
無関係な資料を4本まで増やしても、答えに紛れ込んだ件数は10回とも0のままでした。

結果は「定説は正しかった」で終わる記事です。世間では「AIには関係する資料だけを絞って渡すべき」という助言と、「多少の余計な資料が混ざっていても賢く無視する」という逆向きの体感の両方が流通しています。今回の材料・今回の回数では、後者の体感を裏づける結果になりました。ただし無関係な資料を混ぜても答えが変わらなかったのは今回の判定作業での話で、「何を渡しても平気」という意味ではありません。結果と、そこから引ける線は下の「言い直し方」に書きます。

前提

  • 毎朝同じ形の判定を繰り返す作業があること(受付ログ、問い合わせの仕分け、経費の該当判定など、行ごとに1件・条件と照らして○×を決める形)
  • 関係する資料と無関係な資料が、同じフォルダやチャットの添付欄に混在していること(先月分・別部署の連絡・古いルールなど、消さずに残っているだけの過去のファイル)
  • プログラミングは不要です。この記事で試したのは、資料をそのままAIに貼って頼む形だけです

この記事は「フォルダの中身を絞る手間をかけなくてよいか」を確かめた記録であって、「絞らないほうがよい」という助言ではありません。関係する資料だけに絞れるなら、絞ったほうが速く・安く済みます(無関係な資料を混ぜた版のほうが、返りの文字数が長くなる傾向がありました)。今回の値打ちは、絞る時間が無い朝に、フォルダごと渡しても事故が起きなかったという1点です。

AIへの頼み方

1. 関係する3本だけを渡す(基準)

材料は、当日の受付ログ(12件・S-2601〜S-2612)、当日の連絡メモ(1件だけ人数の確定に関わる注記あり)、判定基準(現行版・5条)の3本です。

本日の受付ログのうち、判定基準に該当するものを、受付番号で一覧にしてください。

2回とも、該当5件(S-2601・S-2606・S-2607・S-2609・S-2611)で一致しました。連絡メモでしか分からないS-2609の人数(申込書は未記入・電話で5名と判明)も、2回とも正しく反映されています。

2. 無関係な資料を混ぜても、依頼文は変えない

ここからが本題です。関係する3本に、先月の同じ様式のログ・別部署の連絡メモ・2年前の古い判定基準・社員食堂の献立表という無関係な4本を足して渡しました。依頼文は指示文1とまったく同じ(1字も変えていません)。まず献立表1本だけを足した版、次に4本まとめて足した版の順に試しています。

本日の受付ログのうち、判定基準に該当するものを、受付番号で一覧にしてください。

関係する資料が3本から7本に増えても、答えは変わりませんでした。献立表を1本だけ足した版は2回とも該当5件で一致。無関係4本をまとめて足した版も、2回とも該当5件で一致し、しかも1回は「旧版(2024年3月版)を適用する場合は結果が異なります」と、混ぜた古い基準との違いまで自分から注記していました。

先月ログに仕込んだ「今日の基準をそのまま当てはめると該当しそうに見える5件」は、10回中1回も答えに出てきませんでした。受付番号の頭2桁(今日はS-26、先月はS-25)を機械で照合しての結果です。

3. 「これは使わないでください」と釘を刺す

不安なら、使ってほしくない資料を名指しする言い方もあります。

本日の受付ログのうち、判定基準に該当するものを、受付番号で一覧にしてください。 先月の受付ログ・経理部の連絡メモ・旧版の判定基準・来週の献立は、今回の判定には使わないでください。

2回とも該当5件で一致し、どちらも「指示どおり使用していません」という一言が返りに添えられていました。今回の材料では、指示文1と結果に差はありません。

4. 「使った資料を書いて」と申告させる

逆に、何を使ったかをAI自身に申告させる言い方も試しました。

本日の受付ログのうち、判定基準に該当するものを、受付番号で一覧にしてください。 該当と判定した番号ごとに、使った資料の名前も書いてください。

2回とも該当5件で一致し、申告された資料名はすべて「本日の受付ログ」「本日の連絡メモ」「判定基準(現行版)」の3つだけでした。先月ログや旧基準を使ったという申告は0件で、実際の答え(旧基準を使えば紛れ込むはずのS-2602・S-2610)も0件のままです。自己申告と実際の挙動が食い違わなかった、という点も機械で確認しています。

うまくいかないときの言い直し方

混ざっていないか、自分で確かめさせたい

10回とも事故は起きませんでしたが、答えを渡した直後に、その場で検算させる手はあります。無関係4本を混ぜた材料に対して、この一文を足しました。

本日の受付ログのうち、判定基準に該当するものを、受付番号で一覧にしてください。 該当と判定した受付番号が、すべて「本日の受付ログ」12件のうちのものであることを、番号を1つずつ確認してください。もし含まれないものがあれば、そのことを教えてください。

2回とも、該当5件を1件ずつ照合し「範囲外のものはありません」「先月分のS-2501〜S-2512などは含まれていません」と、仕込んだ先月ログの番号帯まで名指しで否定しました。時間はかかりますが、毎朝の自動化に組み込む前の健全性チェックとして有効です。

何が要らないか、先に言わせたい

判定させる前に、AI自身に「使わなくてよい資料」を選ばせる言い方も試しました。

渡した資料のうち、今回の判定に使わなくてよいものがあれば、先に教えてください。

2回とも、無関係な4本(先月ログ・別部署メモ・旧基準・献立表)を過不足なく言い当てました。しかも1回は、当日の連絡メモの中にある判定に関係ない2件の注記(受付開始の遅れ・企業名の表記統一)まで見分けて、S-2609の人数確認だけが必要だと答えています。判定そのものを頼む前に、この一文だけを先に送る運用も、絞る手間を減らしつつ安心材料を増やす選び方です。

この結果を「AIは資料を混ぜても平気」と受け取らない

今回の該当条件は数値・日程・文字列の一致という機械的なものでした。判断が数値や条件文の一致で決まらない場合(文章の要旨を読み取る、優先順位を人が決める必要がある場合など)は、この記事の結果をそのまま当てはめられません。まとめて渡せる件数を決めるのように、材料の古さが問題になる場面では今回とは別の実測が要ります。

応用・次の一手

この記事の値打ちは「絞る手間を省いてよい場面が1つ確認できた」ことです。散らかったファイル・フォルダの整理をAIに手伝わせる毎朝の資料が古いのを見張るのように、フォルダの中身をどう扱うかはこのサイトで繰り返し出てくるテーマですが、「無関係な資料が混ざっていること自体」を主役にした実測は今回が初めてです。

毎朝ひとりでに回す形にするなら、決まった時刻ではなく前回の続きから処理すると組み合わせ、「今日ぶんのフォルダをまるごと渡す→前回の続きから判定する」という2段の自動化にできます。判定の対象がもっと込み入っている(人が読んで初めて分かる例外がある)場合は、先に載せた「何が要らないか、先に言わせる」一文を毎回の頭に固定しておくと、混ぜて渡す運用のまま安全性を上げられます。

同じ資料に依存した判断を毎日重ねる作業では、積み上げた指示ファイルを掃除するのように、そもそも古い資料をフォルダから退避させる工夫も有効です。この記事はあくまで「退避させる暇がなかった朝」の保険として読んでください。