決まった時刻に動かす、静かに壊れたのを見張らせる。
複数の取引先・発行元からの連絡をまとめて確認する場面を、架空の取引先5社×5件を2セット（計50件）で実測しました。「件名に緊急を示す言葉があれば教えて」という1つの基準だけを渡すと、材料2本×各2回の4回とも、本文にしか緊急のサインがない相手の分（各4件）が一覧からまるごと消え、逆に件名の慣習語を毎回使う相手では急ぎでない案件（各3件）が誤って残りました。「相手によって緊急の伝え方が違うかもしれないので、まず各社の書き方の癖を確認してから」と1文加えると、4回とも正解8件と完全に一致し、誤検知も0件でした。出力を表だけに強制すると、自発的に添えられていた注意書きが消え、直っていない一次回答がそのまま表の値として固定されることも確認しています。
取引先・案件ごとの「最終確認日」を毎日AIに更新させる場面で、担当者交代などで古い資料がたまたま本日届いたとき、記録の日付が過去へ巻き戻らないかを実測しました。架空の取引先10社・案件10件の2本に、記録より古い日付の資料を2件ずつ仕込み、「更新してください」「表だけ出して」という2種類の頼み方は材料2本×各2回=8回すべてで正しく据え置けました。ただし「日付に置き換えてください」という最も機械的な言い方だけ、4回中1回、表の値そのものが古い日付に書き換わりました(同じ回答の中に「本当にこれでよいか」という注意書きも付いていましたが)。「新しくなければ更新しない」と一文添えると、同じ言い方でも4回とも正しく据え置けました。
架空の勤怠アプリ満足度アンケート20件・研修感想アンケート22件に、無条件の賛成/満足・条件付きの賛成/満足（「〜すれば」）・理由の違う複数の反対/不満を仕込みました。「似た意見をまとめて件数を教えて」と素朴に頼むと、材料によって結果が割れ、研修感想アンケートでは条件付きの意見4件×2回=8件のうち5件が、近いテーマの別グループに紛れ込みました。件数の合計はどちらの材料も元の総数のまま合っていて、崩れていたのは中身の振り分けだけです。「条件付きの意見は無条件の意見と別のグループにしてください」という一文を足すと、2つの材料とも0件に戻り、価格と操作性の条件付き意見がまぎらわしく重なる第3の材料でも0件のままでした。
架空のメルマガ下書き12件・セミナー案内下書き12件の2種に、割引率や参加費の食い違い・過去日・決まり文句の条件抜けを3件ずつ仕込みました。「確認して」という指示と、「これは重要な確認です。見逃すと困ります。よく確認してください」を足した指示を、材料2本×各2回＝計8回の独立した会話で比較したところ、検出できた件数は3種類とも1つも変わりませんでした（数字の食い違いと過去日は8/8ずつ・条件抜けは2/4ずつ）。見つからなかったのは、条件が長い文の末尾だけを削った号に限られていて、文をまるごと削った号は念押しの有無にかかわらず4/4で気づけました。「一言一句比べて」と一文を足すと2回に1回、数字の突合・文言比較・日付確認をまとめた指示にすると2回とも戻りましたが、後者では実在しない計算ミスを1件、新しく指摘しました。
毎朝の自動チェックに監視対象を1件追加する場面を、SNSアカウント監視・入金監視の2本の架空データで実測しました。「既読リストに無いものを新着として」という、実際の自動処理の内部ロジックに近い聞き方だと、新しく追加した対象の過去分（9件・7件、本日付は0件）を4回とも丸ごと新着に数えました。「本日の日付のものだけ」または「過去の記録まで含めないで」という一文を足すと、どちらも4回とも0件に戻りました。日付を主役にして素直に聞くだけなら、この一文が無くても8回とも崩れませんでした。
架空の受付ログ2本で、「前回処理済みのID」にゼロ埋め・全角・小文字・末尾の空白・区切り違いなど10通りの表記ゆれを仕込み、新規の会話で計20回試しました。誤検出0・取りこぼし0で、20回とも正しいIDに解決できました。一方、ログに存在しないIDを渡すと対応が指示文によって割れ、「これは自動処理なので質問はできません」と念を押しても、2回に1回は済んでいるはずの8件まで含めて全24件を処理し直しました。表記のゆれは許可しつつ「対応が無ければ止まる」を分けて書くと、2回とも安定しました。
架空の在庫アラート一覧で、値が凍結して何日も一字一句同じ内容が続く状態を再現し、AIに毎日確認させました。「気になる点があれば教えて」というだけの聞き方でも、凍結2日目からすでに指摘でき、4日目・7日目でも同じく指摘は続きました(生成的な聞き方・前日比較を明示した聞き方とも計4回とも)。8品中1品だけが凍結し他7品は変動する紛らわしい材料でも、3日目・7日目とも4回とも指摘できました。本当に凍っていない対照日は4回とも誤って凍結と言いませんでした。ただし「今日の残数を教えて」と聞き方の範囲を絞ると、同じ凍結データでも2回とも見逃しました。
3連休（土日月）を挟んでたまった架空の受付ログ・売上記録で、日別の内訳を作れるか全38回試しました。「行に書かれている日付ごとに、件数を1日ずつ分けて教えてください」とだけ頼むと、休業日3日は0件ではなく行ごと消え、6回とも2日ぶんの一覧にしかなりませんでした。日付の範囲と「該当する行が無い日は0件と書いてください」を添えると、12回とも休業日3日が正しく戻りました。「今日届いた分をまとめて」という素朴な聞き方では、休業前の金曜分を今日に混ぜることは6回とも起きませんでした。
毎月の前月比を自動で出す運用で、先月分に後から見つかった記録（記帳漏れ・二重登録エラーなど）があったとき、それが計算に反映されるかを架空の記録2本（相談受付件数・売上金額）で試しました。「まだ反映されていません」と見出しに明記してそのまま頼んだ8回は、全部が正しい訂正後の値を使いました。見出しを「メモ」に変えて反映済みかどうかを書かなかった4回では、件数の記録は「二重登録扱い」という一言を引き算の理由と読み違えて2回とも止まり、金額の記録は数字を確定させず2回とも確認を求め、うち1回は訂正額の合計そのものを間違えました。全18回の実測です。
「毎日ある種類が今日は0件」を鳴らす仕組みに、休業日リストを渡して見分けさせられるか、架空の14営業日ぶんの受付ログ（表形式・手書きメモ）で全19回試しました。休業日リストを渡すと、表形式では2回とも異常日だけを正しく検出しましたが、手書きメモでは3回中2回、実在する日を「0件」と誤って報告し、肝心の異常日を一度も報告しませんでした。先に件数を数えさせ、最後に自分の申告をログと照合させる指示を1本にまとめると、2回とも異常日だけを正しく検出しました。
架空の「今日ぶんの一覧」35件（ふだんは1日3〜5件）を、社内ヘルプデスクの問い合わせと通販の返品申請の2種類で用意しました。基準を渡さずに処理させた6回は、6回とも件数の異常に触れませんでした。「ふだんは1日3〜5件程度です」と一言足すと、6回中5回が自分から「通常の7〜10倍」と報告します。件数を勝手に減らして返した回は12回を通じて0回でした。
表記ゆれのある取引先名をAIにまとめさせると、たまたま同じ「フジタ商会」という略称を持つ別会社まで1つに畳まれないか。架空の請求一覧2本・住所という決め手つきの実験14回では、指示していなくても誤って畳んだ回は0回でした。ところが住所欄そのものを消すと、2回に1回は確実に区別できる部分まで「要確認」1グループにまとめてしまいました。「確定できるものと本当に決められないものを分けて」と足すと直りました。
週次・月次・隔週で更新頻度がばらばらな3つの相手をまとめてAIに監視させ、「何日更新が無ければ異常か」を決めさせる5通りの言い方を試しました。「直近6回の間隔から統計的に計算」は変動が小さい週次の相手を2回中2回、「固定14日」は変動が大きい月次の相手を2回中2回、それぞれ誤って異常と判定しました。無指定・固定35日・相手ごとに最大間隔とバッファを決める言い方は、10回を通じて誤検知0でした。
毎朝1行ずつ追記される自動集計の記録に「取得できませんでした」の日を3日仕込み、後段のAIが平均計算にそれを0件として混ぜてしまうかを確かめました。無指定・除外を明示・除外日数も書かせる・曖昧に「0件の日は何日か」と聞く、の4通り×材料2本×各2回＝16回のすべてで、取得失敗の日を0件に混ぜた回は0件でした。もし混ぜていたら平均は約2割低く出ていたはずの参考値と、生の回答を添えています。
更新監視ログにあとから列を1つ足すと、その列が無い古い記録が残ります。架空のログ2本・12回の実測で、無指定なら4回に1回だった誤分類が、「判定の根拠も一言添えて」と丁寧にしただけで4回に3回へ悪化しました。「記録が無い項目はまだ分からないとして分けて」と受け皿を明示した版だけが、12回すべてで0件でした。
二重起動を防ぐ「実行中」フラグは、異常終了で立てたまま止まると自動化を永久に止めます。架空の実行記録で「進めるべきか判断して」と素朴に聞いても、経過時間を計算させても、8回中0回しか自分からは「進める」と判断しませんでした。「6時間経ったら異常終了とみなして進めて」と閾値を明示した版だけが、10回中10回正しく進み、まだ本当に実行中の材料では正しく待ちました。
「前回処理した続きから」を基準に自動実行する仕組み（毎時実行の遅延に強い形）に、人が1回だけ手動で追いつき処理を挟むとどうなるかを実測しました。架空の受付ログ2本で、人が手動処理した5件の「次回位置」を記録に書き戻さなかった場合、次の自動実行は3回とも書き戻し忘れの5件をそのまま重複して出しました。書き戻すと3回とも重複0件です。自動側の指示文は一字一句同じで、違うのは記録ファイルの値だけでした。
経費規程のように除外条件まで明記されたルールへの該当判定を、新規の会話で3回ずつ・材料を変えて2本、誤読を狙った8件も加えたのべ168件で試したところ、3回の答えが割れた項目は0件でした。ところが「理由も一言添えて」と指示文に一文足しただけで、同じ規程・同じ申請24件でも3回のうち2回に別々の誤りが混ざり、答えが一致しませんでした。
毎朝の受付ログを判定基準に照らして「該当」を抜き出す作業に、先月のログ・別部署のメモ・古い判定基準・献立表という無関係な資料4本を混ぜて渡しました。関係する3本だけの版と比べて、5つの頼み方×各2回・計10回すべてで答えの受付番号は一致し、無関係な資料の内容が答えに紛れ込んだ回は0件でした。
このサイト自身のニューストラッカーの実行間隔を実測すると、中央値76分・最長25.0時間でした（毎時実行の設計）。3時間遅れて動いた想定で、「本日7時までに届いた分」という時刻基準の指示と「前回処理済みの続きから」という指示を、同じログ・4版×各3回=12回で比べたところ、時刻基準は同じ指示文でも重複が14件・14件・0件と回によって割れ、遅延を伝えても直りませんでした。前回の続きからは3回とも重複0・取りこぼし0です。
表にして出させた一覧が途中で切れたとき、「続きを書いて」「すでに出したIDは書かないで」「16件目から出して」の3つの頼み方を、架空の名簿2本×各2回で試しました。行の欠落・重複・紛らわしい行の誤った取りこぼしはいずれも0件でしたが、番号で区切って頼む言い方だけ、見出し行の有無が回によって変わりました。
長いメールのやり取りから「いま自分がやるべきこと」だけをAIに抜き出させる頼み方を、架空の案件スレッド2本・のべ16機会で実測しました。「最後の1往復だけ見て」と絞った版は16機会中6件しか拾えず、「まず経緯を要約してから」と頼んだ版は16機会すべてを拾い、しかも終わった仕事が混ざった回は0件でした。古い宿題ほど拾われにくいという位置の癖も確かめています。
毎朝の日報作成という定型業務に、機械で判定できる8ルールを渡し、①会話を続ける②要約して新しい会話に貼る③ルールを貼りなおす、の3通りを材料2本×2回・のべ12回試しました。1回も出番のなかったルールは12回とも脱落しませんでしたが、要約を挟んだ版は見出しの字数制限を4回中2回破り、4回中1回は聞いていない個人のメールアドレスまで引き継ぎメモに書き足しました。
引き継ぎメモに仕込んだ「先週」「来月まで」のような相対日付12件と、「先月比」のような紛らわしい語8件に、絶対日付へ直す指示文を4版・のべ12回試しました。変換すべき12件は144件中143件が正解でしたが、「先月比」「前年同月比」は、このサイトの別記事が勧める禁止語リストを足しても8回中6回が誤変換されたままでした。効いたのは、誤変換の対象そのものを名指しする一文だけでした。
毎日使っている保存指示文に「必ず3つ挙げて」のような埋め草のもとが無いか、AIに探させてみました。3つの頼み方で18回試すと、8個中平均で4個。あとから「もう一度全部見直して」と1問重ねると、見逃していた項目を3回とも見つけました。
貼ったメモの束に矛盾4組・重複3組・紛らわしい非矛盾3組を仕込み、指示文を3版・のべ18回試しました。素朴に頼んだ6回は、日付の新しいほうへ傾きつつも全部「要確認」止まりでした。「日付が新しいほうを採る。日付が無い組は決めない」と足した回は、日付がある2組だけ12回とも確定し、日付が無い2組は12回とも決めませんでした。同じ会話でこの結果を実際の経費一覧に当てさせた6回も、6回とも更新後の基準どおりに正しい2件だけを挙げました。
架空の「送信済み30行」と「受信25行」を2本作り、返事が来ていない相手を挙げさせる指示文を6通り、材料2本×各2回＝全24回試しました。本当に未返信の5件は24回のうち23回で5件とも挙がります。崩れたのは、件名を変えて戻ってきた返事3件のほうでした。そのまま頼んだ4回と、出す形だけを決めた4回では12回中0件だったのに、「同じ用件は1行にまとめて」を足した4回では12回中6件を催促の一覧に入れています。
架空の「毎朝ひとりでにAIが作った要約」を30日ぶん2本作り、不良を7件仕込んで、見せ方を6通り、材料2本×各2回＝全24回試しました。心配していた「見せてくる3件に失敗した回は入らない」は、実際に3件を見せる4版・16回とも起きず、当て方を2通りに変えても同じでした。かわりに割れたのは合否の線のほうで、同じ指示文なのに、材料が変わると「よくない」に入れるものが2グループとも逆になりました。
よく言われる「AIには一度に全部やらせず、工程に分けて頼め」を、架空の問い合わせ24件を2本作って16通し・全40回試しました。1回で全部やらせた4回は4回とも真値どおり12件です。3回に分けた4回のうち、短い口語の材料での2回は下流が「中身が渡っていません」と断り、一覧は1回が0件、もう1回は1件（11件欠落）にとどまりました。毎回もとの24件も一緒に渡した版は、4回中3回で絞り込みが消えて24件全部が出ています。止まった2回は、どちらも工程1が「何についての問い合わせか」を1件も渡していませんでした。
テキストファイルに毎日1行ずつAIに追記させる形を、架空の記録2本で全80回試しました。書式の伝え方を6通りに振ると、指示文で説明しても、ファイルにお手本を1行置くだけでも、3日とも12回中12回そろいます。崩れたのは両方書いて食い違わせた版だけで、12回とも指示文の側が勝ち、置いたお手本の1行が取り残されたまま4系列とも2通りの形が混ざりました。
毎朝の自動処理の出来上がり20日ぶんに、成功に見える失敗を10日ぶん仕込んで、合格の条件を先に書かせてから判定させました。条件を渡すと誤検出は6件から0件になりますが、不良の検出も40件中36件から24件に落ちます。落ちるのは条件に書かれていない型だけでした。〔条件の外で気になったこと〕の欄を1つ足すと、4回とも欄の中に全部出てきます。架空の出来上がり2本・全12回・のべ240判定の記録です。
毎朝の自動処理が途中で止まった日に、AIが書いた引き継ぎメモだけを翌朝のまっさらな会話に渡して、続きから動けるかを測りました。止まった行の名指しは16回とも正確でしたが、「次はどの行から始めるか」を答えられたのは12回中5回です。指示を足すとメモは2.3倍に伸びるのに、翌日が要る値の数はほとんど増えませんでした。架空の待ち行列2本・全20回と、翌朝の会話16回の記録です。
毎朝の点検が誤報を1件出したので直させました。同じ記録に当て直すと、12回とも本物10件は全部まだ鳴ります。ところが翌日の記録では、12回のうち11回が同じ1件を見落としました。落ちたのは「止めた誤報と同じ品目」の異常です。架空の点検を12回・各4段で通した記録です。
自動実行が止まった朝、実行の記録を貼って「次の3つのどれか選んで」と頼むと、記録では決まらない朝でも4回とも1つ選びました。「どれにも当たらないならそう書いて」を1行足した4回は、4回とも選ばずに理由を書きます。架空の記録3本に、9個の頼み方で56通の返りを取った記録です。
本文が取れなかった記事をまとめて要約させると、AIは240件とも自分から「本文は読んでいない」と断りました。ところが、そのまま頼んだ80件は80件とも断りが最終行にあります。一覧の1行目しか見ない読者には届きません。架空の一覧4本を24回通した記録です。
見張りの仕組みを作ったら、わざと壊して鳴ることを確かめる——このサイトが2本の記事で「唯一の確認方法」と書いてきた手順を、架空の点検5条と材料2本で全24回試しました。AIが作った壊れ例は、ほとんどが実際に鳴りました（27例中21例、条を申告させた回は24例中22例で申告も8件すべて一致）。1条も鳴らない例が大量に出たのは「すり抜ける例も作って」と頼んだ回だけで、その数は頼んだ数とちょうど同じでした。抜け道がいちばん出たのは、記録を壊させず手順書のほうを読ませたときです。
「迷ったら重要ではない側に倒して」と1文足すと、指定していない別の判定まで一緒に倒れました。架空の30件を16回通して数えた記録です。漏れはするが回ごとにばらつくので、効かせたい判定ごとに書く必要があります。
テキストファイルに1行足すだけの待ち行列を、毎日ひとりでにAIへ処理させる形を、架空の待ち行列2本で全32回試しました。1回転目の返りをそのまま2回転目に渡す形です。心配していた事故（失敗した行にも済が付いて永久に飛ばされる）は32回とも起きませんでした。起きたのは逆で、「印を固定してほかの行は1文字も変えないで」と縛った4系列のうち3系列で、処理できない行の行き先が消えました。AIは理由を返事に書きますが、明日に渡るのはファイルだけです。
領収書とレシートのメモを毎月AIに費目で分けさせる形を、架空の家計簿3か月ぶん・材料2本（表形式と走り書き）で全56回試しました。3か月とも1文字も同じ文字列で出てくる行を5件ずつ仕込んだところ、そのまま頼んだ12回では、のべ20件のうち11件が月によって違う費目に入りました。1か月ぶんの一覧はどの月もそれらしく見えるので、並べるまで気づけません。費目の一覧を先に固定すると5件、こちらが店名と費目の対応表を渡した12回だけが0件でした。
同じ表を毎月点検するとき、前回の指摘を一緒に渡すと新しい異常が見えなくなるのかを、架空の月次表で24回試しました。渡しても見落としは0件。落ちたのは別のところで、返す形を短く固定した回だけ、ほかの異常と結び付かない小計のズレが4回とも落ちました。
毎月ぶんの記録を別々に置いて「先月ぶんの合計を出して」と頼む形を、架空の勤怠ログと売上記録で40回試しました。勤怠では、月をまたぐ夜勤と前月ぶんの訂正の5件が、7月の実行にも8月の実行にも入りません。合計はどちらの月も1分もずれていないので、片方だけ見ても気づけません。売上では同じ5件がちょうど1回ずつ入り、この事故は起きませんでした。またぎの行を別枠に出させると10件とも同じ場所に集まり、8回のうち6回は返ってきた文が1文字も違いませんでした。全50回の実測です。
ひとりでに走らせる前に、同じ指示文を2回通して出力を見比べる手順を、架空の自動処理の出力2組（形の崩れを5件ずつ仕込んだもの）で32回試しました。そのまま「違うところを教えて」と頼むと仕込みは4回とも5件全部挙がりますが、一覧は14〜18件になり、日付や件数など毎回変わって当然の差が9〜13件混ざります。「毎回変わってよいのは日付・件数・中身の3つだけ」と先に宣言した4回は5〜7件まで減り、仕込みの5件は全部残りました。見る場所を絞ると、絞った外は回によって出たり出なかったりします。
毎朝の集計をAIに任せたあと、材料のほうが壊れた日に何が返るかを架空の記録2本で試しました。中身が同じ行と途中で切れた行は、頼んでいないのに4回とも自分から指摘されます。ところが日付が1日古いことは8回とも指摘されず、自動実行の形に短くすると表形式の材料では警告が2回とも丸ごと消えました。点検の欄をこちらで作った10回は、行数も日付も重複の組数も真値と一致しています。全31回の実測です。
手でうまくいった3分類を毎朝の自動実行にしたら、仕分けそのものは3日×2回とも崩れませんでした。崩れたのは読むほうです。返ってきた一覧の6割は昨日も同じ欄にいたもので、そのことが一覧のどこにも書かれていません。「前から残っているもの」をAIに分けさせたら、4回で振り分けた24件のうち8件が逆でした。架空の受信箱3日ぶんで試した実測と、突き合わせをAIにやらせない形をまとめました。
先週の週報を型にして今週ぶんを作らせる。それを毎週つづけると、メモの行数は9→8→8と減っているのに、報告書の箇条書きは16→18→23件に増えました。増えたぶんはメモに一度も無い文です。しかも第2週にAIが足した「窓口が定まっていません」が、第3週・第4週まで残ります。架空のメモ3週ぶんを連鎖させた実測と、連鎖を切る指示文をまとめました。
手で1回やってうまくいった指示文を、そのまま置き場所に固定したら、1本目の文字起こしからは時刻が29行すべて消えました。2本目では残っています。同じ指示文です。出す欄と順番を決めると形は4回ともそろいましたが、今度は「誤変換を直すか直さないか」が回ごとに割れました。架空の文字起こし2本に同じ指示文を2回ずつ通した実測と、そろうまでの指示文をまとめました。
AIに作らせた図解やグラフは、文字を線が貫く・枠からはみ出す・真っ黒になる、と静かに崩れます。目視では見落とすので、公開前に機械で検査させる頼み方をまとめました。全部実際に起きた崩れです。
定時実行をAIに頼むときの言い方。そのまま頼むと「走らない・遅れる」で消耗するので、最初に付けておく注文をまとめました。
「落ちていないか」ではなく「更新が止まっていないか」を見張らせます。エラーを出さない故障を捕まえるための頼み方をまとめました。
