これで何ができるか
死活判定は数字の選び方で変わるは、「取得件数」を渡せば健全な相手を誤判定しないことを確かめました。今回は一歩先です。取得件数と新着件数を両方渡せば、通知文を「取得自体ができない」「中身が止まっている」「正常」の3種類に書き分けられるかを試しました。
架空の監視ログ2本(情報源8つ・21日分と24日分)に、同じ基準を2つの言い方で当てました。結果は次の4つです。
- 基準を明示した版(「取得件数が3回連続0なら〜」と条件を数字で書く)は、2つの材料・各2回・合計32件の判定がすべて正解でした。健全・取得不可・停止の3種類とも、取り違えは0件です。
- 基準をあいまいにした版(数字の条件を書かず「判定してください」とだけ頼む)でも、2回とも16件が全部正解でした。両方の数字を渡せば、基準を細かく書かなくても書き分けられます。
- ただし「3回連続0」という基準の書き方そのものに罠がありました。過去に3日だけ取得が止まり、その後8日間回復している相手を混ぜると、基準を明示した版だけが2回とも「今も取得自体ができません」と誤報しました。
- 原因は条件の書き方です。基準をあいまいに戻すか、「直近3回分」「表の末尾3行」と言い直すと、同じ相手は2回とも正しく「正常」に戻りました。
📌 **この記事の数字はすべて架空データでの実測です。**実在の個人・企業の情報は含みません。材料や仮説を知らない独立した新規会話で、合計14回・判定120件試しました。生の返りと機械照合は docs/evidence/recovery-does-not-clear-the-dead-mark.md に全文置いてあります。
前提
| かかる時間 | 20分 |
| 費用 | 無料。無料のチャットAIで足ります |
| 必要なもの | 複数の相手を定期的にチェックしている記録(取得件数と新着件数の両方が分かる形) |
| プログラミング | 不要。記録の表をそのまま貼るだけです |
取得件数と新着件数が何を指すかは死活判定は数字の選び方で変わる**と同じです。**取得件数はページから読み取れた記事の総数(更新が無くても0にはならない)、新着件数は前回チェックより増えた件数です。
材料は架空の監視ログ2本です。どちらも、健全な相手(更新頻度は毎日〜月1でまちまち)・本当に取得できない相手・取得はできるが中身が止まっている相手を混ぜています。1本目(21日分)には、さらに過去に3日だけ取得が止まり、その後8日間回復している相手を1つ加えました。
AIへの頼み方
1. 基準を数字で明示して、3種類の通知文を書き分けさせる
まず、8つの情報源(P〜W)の取得件数・新着件数を両方渡し、基準を数字で書いた指示文を試しました。
(上記の直後に、取得件数の表と新着件数の表を両方そのまま貼った)
点検 P Q R S T U V W
1 15 12 9 0 8 22 4 18
(以下、点検21まで。健全P・Qは毎回15・12。R・Wは低頻度だが新着あり。
Sは常に0。Tは点検6以降0。Uは常に22・新着は常に0。Vは常に4・新着は常に0)
**2回とも全く同じ答えでした。**真値(P〜R・W=正常/S・T=取得自体ができない/U・V=中身が止まっている)と8/8・8/8で完全一致です。
P: 正常です
Q: 正常です
R: 正常です
S: 取得自体ができません
T: 取得自体ができません
U: 取得はできていますが、中身の更新が止まっています
V: 取得はできていますが、中身の更新が止まっています
W: 正常です
Wは9日目・16日目だけ取得件数が一時的に0になる相手ですが、連続は2回以下なので「正常」のままでした。基準を数字で渡せば、3種類の通知文は取り違えなく書き分けられます。
2. 材料を変えても同じ形で書き分けられるか
情報源の数・観測期間・数値を変えた材料2(情報源1〜8・24日分)で、点検の日数だけ直した指示文を試しました。
(上記の直後に、材料2の取得件数の表と新着件数の表を両方そのまま貼った)
結果は材料1と同じ形です。真値(2・4・6・8=正常/3・5=取得自体ができない/1・7=中身が止まっている)と、2回ともすべて一致しました。
| 材料1(8件・21日分) | 材料2(8件・24日分) | |
|---|---|---|
| 正解数(2回とも) | 8/8・8/8 | 8/8・8/8 |
情報源の数や観測期間、数値の並びを変えても、基準を数字で渡した版は誤判定0件のまま再現しました。
3. 基準をあいまいにしても同じ結果か
数字の条件を書かず、「判定してください」とだけ頼む版も試しました。材料1と同じ8情報源です。
(上記の直後に、取得件数の表と新着件数の表を両方そのまま貼った)
**こちらも2回とも8/8で全部正解でした。**1回目の根拠の一部を引用します。
U: 取得はできているが中身の更新が止まっている — 取得件数は21回とも22件で安定して取得できているが、新着は21回すべて0件。ページ自体は読み取れているのに内容が一切更新されていない。
W: 正常 — 取得件数はほぼ18件で安定しており、新着も点検3・11・19で発生している。点検9と16でのみ取得件数が一時的に0件になったが、翌点検では18件に復帰しており、継続的な障害ではなく一時的な取得不良と判断できる。
基準を数字で書かなくても、取得件数と新着件数を両方渡せば書き分けられました。一時的な取得不良(W)を継続障害と混同しなかった点も、2回とも同じでした。
うまくいかないときの言い直し方
「3回連続0」は、過去の一時停止も拾って「今も止まっている」と誤報する
ここまでは良い結果ばかりでしたが、材料に1つだけ相手を加えて試すと崩れました。加えたのは情報源Xです。**点検11〜13の3日だけ取得件数が0になり、点検14以降は点検21まで8日間ずっと回復しています。**新着も回復後に3回起きています。
指示文は実験1と同じ「取得件数が3回連続して0だったら『取得自体ができません』」のままです。Xを混ぜた9情報源で、同じ指示文を2回試しました。
2回とも、Xに対して「取得自体ができません」が返りました。
X: 取得自体ができません
**8日前に回復しているのに、今も死んでいる扱いです。**他の8情報源(P〜W)の判定は実験1と同じく2回とも全部正解だったので、崩れたのはXだけでした。
**なぜこうなるのか。**指示文の「取得件数が3回連続して0だったら」という書き方は、記録期間のどこかで一度でも3連続0があればよいとも読めます。AIはこの読み方どおりに、点検11〜13の3連続0を見つけて、それだけで「取得自体ができません」と判定しました。回復後の8日間を見落としたわけではなく、条件の書き方が「今も止まっているか」ではなく「過去に止まったことがあるか」になっていたのが原因です。
基準をあいまいに戻すと、同じ相手を正しく「正常」と判定した
数字の条件を外し、実験3と同じ「判定してください」という頼み方を、Xを混ぜた9情報源に当てました。
(上記の直後に、Xを混ぜた9情報源の取得件数の表と新着件数の表を両方そのまま貼った)
**2回とも、Xは「正常」と判定されました。**根拠も2回とも回復に触れています。
X: 正常 — 取得件数は基本18だが点検11〜13の3回だけ0が連続し、点検14で18に復帰した一時的な障害。新着は障害前後を通じて点検2・5・8・15・18・21とおおむね3回おきに発生しており、取得・更新ともに継続している。
他のP〜W・S・Tも含めて2回とも9/9で全部正解です。数字の条件を外すと、AIは「今の状態」を自分で考えて判定し、過去の一時停止を取り違えませんでした。崩れていたのは基準をあいまいにしたことではなく、基準を数字で明示したときの「3回連続」という書き方そのものでした。
明示するなら「直近」を書く——「直近3回分」に言い直すと直る
あいまいにせず数字の条件を残したまま直すなら、条件を「直近3回分の取得件数が3回とも0」に言い直します。Xを混ぜた同じ9情報源・同じ表で再度試しました。
(上記の直後に、取得件数の表と新着件数の表を両方そのまま貼った。表はさきほどと同じ)
**2回とも、Xは「正常です」に戻りました。**他のP〜W・Sも含めて9/9・9/9で全部正解です。
X: 正常です
T・Sは本当に止まったまま回復していません。直近3回(点検19・20・21)もどちらも0のままなので、こちらは2回とも引き続き「取得自体ができません」でした。「3回連続」ではなく「直近3回分」と、見る範囲そのものを指定すると直ります。
応用・次の一手
結論は、条件に「直近」という範囲の指定を必ず入れることです。「3回連続して0」のような条件は、記録のどこで満たされてもよいと読まれる可能性があります。実務では、記録がどんどん伸びていく(毎日1行増える)ので、この読み方の違いは記事のテスト以上に効いてきます。
実際に運用するなら、絶対の点検番号(点検19・20・21)を指定できるとは限らないので、相対表現に直した版でも確かめました。
(上記の直後に、Xを混ぜた9情報源の取得件数の表と新着件数の表を両方そのまま貼った)
**こちらも2回とも9/9で全部正解でした。**絶対の点検番号を使わず「表の末尾3行」と書いても、Xは2回とも「正常です」に戻りました。この形なら、点検回数が増えても指示文を書き換える必要がありません。
この形は毎日決まった時刻にAIを動かす仕掛けの通知判定にそのまま載せられます。閾値の決め方自体は更新停止の異常判定は一律にしない、凍結の見抜き方は自動化の凍結はAIが見抜くにあります。
⚠️ この記事が実測していないことは2つです。
- 「中身が止まっている」側の基準(「記録期間の最初から最後まで新着が一度も無い」)にも、同じ「どこかで/直近で」の揺れがあるかどうか。今回の材料は、健全な相手の新着がどれも記録の途中に少なくとも1回は起きる形だったので、この軸は試していません
- 実際の点検回数が数百回に増えたとき(記録がもっと長くなったとき)に、「末尾3行」という相対表現が同じ精度で効くか
次に測るなら、「末尾3行」と「どこかで3連続」の2つの言い方を、点検回数を100件・300件と増やした材料で比べます。見張りの対象を100件に増やしてもボロが出ないかと同じ軸(規模を増やしたときに言い回しが保つか)の続きになります。