自動化の凍結はAIが見抜く——聞き方を絞ると2回とも見逃した

これで何ができるか

自動化が静かに壊れたのを、AIに見つけさせるは「ページの最終更新日」を見張る形でした。この記事は別の壊れ方——出力そのものが前日と一字一句同じまま続く「凍結」を、AIが気づけるかを試したものです。このサイト自身のニューストラッカーでも、凍ったフィードが古い記事を返し続けて、取得の成否だけを見る仕組みでは何日も「健康」と判定され続けたことがあります。

架空の在庫アラート一覧を用意し、ある日から中身が前日とまったく同じになる「凍結」状態を仕込みました。結果は、凍結してわずか2日目からすでに指摘でき、その後も見逃しはありませんでした。「毎回変わっていないか」と明示的に聞かなくても、「何か気になる点があれば教えて」という素朴な聞き方だけで十分でした。

唯一崩れたのは、聞き方の範囲を「今日の数字を教えて」だけに絞ったときです。この場合、同じ凍結データを渡しても2回とも凍結には一切触れませんでした。AIが賢いから気づくのではなく、気になる点を聞かれたから答えている、という順番が分かります。

プログラミングは要りません。毎日の一覧をそのままAIに貼るだけで試せます。

前提

• この記事は「凍結を検知する仕組みを作る」話ではなく、すでにある一覧をAIに読ませるだけで、凍結に気づけるかの話です
• 対象は、一覧やログの中身が日によって変わるはずの自動処理（在庫アラート・受付ログ・監視結果など）

AIへの頼み方

1. 「気になる点があれば教えて」だけで、凍結2日目から気づいた

架空の在庫アラートを14日ぶん用意しました。1〜6日目は商品も個数も日々変わりますが、7日目から中身が完全に同じ内容(商品H・I・Jがそれぞれ同じ個数)で固定されます。まず、凍結が始まって2日目の状態を渡します。

新規の会話で2回試したところ、2回とも「前日と完全に一致している」ことを最も気になる点として挙げました。「在庫データが更新されずに固まっている可能性」「システム側の在庫連携・在庫数取得処理が止まっている可能性」など、原因の候補まで自分から挙げています。

同じ指示文を、凍結が4日目・7日目まで続いた状態(一覧を継ぎ足しただけ)でも試しました。

凍結の長さを2日・4日・7日と伸ばしても、6回とも初回から見逃しはありませんでした。「何日も凍ったまま放置されて初めて気づく」ことを心配していましたが、実際には凍結2日目の時点で、すでに気になる点として挙がっていました。

2. 「前日と見比べて」と明示しても、結果は変わらなかった

より確実にするため、「前日の結果と見比べて」と明示的に指示した場合も試しました。

こちらも2日目・4日目・7日目の凍結で各2回、計6回とも「変わっていない」ことを正しく指摘しました。1節の素朴な聞き方と結果は同じで、「前日と見比べて」を明示しても指摘の速さや精度は変わりませんでした。効いているのは比較の指示ではなく、「気になる点があれば」という受け皿そのもののようです。

3. 8品中1品だけが凍結する紛らわしい材料でも、3日目には見つけた

現実には、監視対象の一部だけが静かに壊れ、残りは正常に動き続けることのほうが多いはずです。8品のうち1品(商品Z)だけが「残り4個」のまま固定され、残る7品は毎日大きく変動する材料で試しました。

同じ1節の指示文を、そのままこの材料に使います。

商品Zが凍結してから3日目・7日目のどちらでも、2回ずつ計4回とも、8品の中から商品Zだけを名指しして「動きが不自然」と指摘しました。他の7品は毎日大きく変動しているにもかかわらず、その陰に隠れた1品の凍結を見逃しませんでした。3日目のテストでは、ついでに本当に急減していた別の2品(残り1個まで落ちた商品)も緊急対応が必要な項目として同時に挙げています。

4. 本当に凍っていない日は、誤って「凍結」と言わなかった

指摘が多すぎても意味がないので、本当は凍結していない「慢性的に低在庫が続くだけの日」でも同じ指示文を試しました。商品H・Iが数日おきに繰り返しアラートに出るものの、個数は毎回変わっている材料です。

この2節と同じ指示文で2回試したところ、2回とも「前日と本日で重複している商品はなく、個数が変わっていない項目はありません」と正しく報告しました。1節の素朴な指示文でも2回とも凍結を主張せず、かわりに「同じ商品が繰り返しアラートに出る割に改善していない」という、凍結とは別の正しい懸念点を挙げました。凍結していないときに「凍結した」と誤って騒ぐことは、4回とも起きませんでした。

うまくいかないときの言い直し方

聞き方の範囲を「今日の数字は」だけに絞ると、同じデータでも見逃す

ここまでの指示文はどれも「気になる点があれば教えて」という受け皿を含んでいました。この一文を外し、欲しい情報だけをピンポイントで聞くとどうなるか試しました。

3節と同じ、商品Zだけが7日間凍結している材料を渡しても、2回とも聞かれた残数の一覧だけを答え、商品Zの凍結には一切触れませんでした。渡したデータは3節とまったく同じです。違うのは「気になる点があれば」という一文が無いことだけです。AIが凍結に気づけるかどうかは、AIの賢さではなく、気になる点を聞いているかどうかで決まっていました。

毎日の自動処理を「必要な数字だけを抜き出して表示する」という狭い役割にしていると、たとえ同じ材料を渡していても、この記事の1〜3節で確認した気づきは起こりません。

「ついでに」の一文を足すだけで、同じデータでも気づいた

聞きたいことは変えず、末尾に一文だけ足しました。

まったく同じ凍結データで2回試すと、2回とも本来欲しかった残数の一覧に加えて、商品Zの凍結を「気になる点」として自分から報告しました。欲しい情報を狭く保ったまま、末尾に一文加えるだけで、この記事で確認した気づきが戻ってきます。毎日の自動処理の指示文には、本来の用件とは別に、この一文を必ず添えておくことをおすすめします。

応用・次の一手

自動化が静かに壊れたのを、AIに見つけさせるは「ページの最終更新日」という外部の手がかりを読む形でした。この記事は出力そのものの中身を見比べる形で、外部の手がかりが無い自動処理にも使えます。更新停止の異常判定は一律にしないが扱う「何日更新が無ければ異常か」という間隔の閾値とも軸が異なり、こちらは間隔ではなく中身の一致を見ています。3つを組み合わせると、外部の日付・更新の間隔・出力の中身という3つの角度から自動化の静かな停止を見張れます。

すでに毎日の一覧をAIに要約させている自動化があれば、その指示文の末尾に「気になる点があれば教えて」の一文が入っているかを、まず確認してください。入っていなければ、この記事の4節の一文を足すだけで、凍結への気づきを取り戻せます。

📌 この記事の実測は、材料2本(在庫アラート14日分・8品中1品だけ凍結する材料7日分)・凍結2/4/7日目への反応(生成的+前日比較の指示文)計12回、8品中1品だけの凍結への反応4回、本当に凍っていない対照日への反応4回、聞き方を絞った場合とその直し方の検証4回の計24回です。判定はすべて機械照合(仕込んだ商品名・キーワードの一致を文字列で確認)で、生の回答はdocs/evidence/frozen-feed-does-not-go-unnoticed.mdに全文置いてあります。⚠️ 実測に使ったAIは、リポジトリの外側で動かした新規セッション(claude -p・会話の継続なし)です。素のAIがどう返すかの一般化はせず、機械で確認できた件数だけを根拠にしています。