これで何ができるか
山も谷もない記録なら、目安は変わらない——動いたのは6%だけは、増減の無い記録で「直近14日の目安と56日全体の目安は、実務上同じとみなせるか」をAI自身に判定させました。2回とも正しく「同じ」と答えています。あの記事の締めはこうでした——「増加傾向のある記録で、同じ判定をしたときに正しく『大きく違う』と言えるかは、まだ測っていません」。
今回はそこを埋めます。増加傾向のある架空の記録2本で、同じ判定を試しました。結論は2つです。
- 4回とも、正しく「大きく違う」と判定しました。材料A(真値の差約36.5%)・材料C(真値の差約68.5%)のどちらも、2回ずつ試して4回中4回「大きく違う」という結論でした
- 先行記事(同じ記録・同じ判定依頼)と合わせると、2×2のマスのうち2マスが埋まりました。フラットな記録では「同じ」、増加傾向の記録では「違う」と、真値どおりに判定が割れています
| 記録の性質 | 真値の差 | 聞いた回数 | AIの判定 |
|---|---|---|---|
| フラット(先行記事) | 約5.7% | 2回 | 2回とも「同じ」 |
| 増加傾向・材料A(この記事) | 約36.5% | 2回 | 2回とも「大きく違う」 |
| 増加傾向・材料C(この記事) | 約68.5% | 2回 | 2回とも「大きく違う」 |
真値がはっきり近いときは「同じ」、真値がはっきり離れているときは「大きく違う」。この記事までで、両方とも実測で確かめられました。
📌 この記事の数字はすべて架空データでの実測です。材料Aは前作と同じ8週間(56日)の問い合わせフォーム受信件数ログ、材料Cはこの記事で新しく作った、より急な増加傾向の記録です。指示文は一字一句同じものを、独立した4回の呼び出しで試しました。生の返りと機械照合は docs/evidence/increasing-log-judgment-comes-out-right.md に全文置いてあります。
⚠️ 実測の仕方が1点、先行2本と違います。
- 先行2本は、同一セッション内のサブエージェント呼び出しで試しました
- この記事は、実在する独立したクラウドセッション4つ(記憶を共有しない別々のコンテナ)に同じ依頼を送りました
- 答えた側が自分の回答をそのままページに保存し、そのページを読みに行きました
やり方は変わっても、「材料を作った本人とは別の、答えを知らない側に答えさせる」という条件は変わっていません(詳細は証拠ファイルの冒頭)。
前提
| かかる時間 | 10分。先行記事を先に読むと早いです |
| 費用 | 無料。無料のチャットAIで足ります |
| 必要なもの | 毎日の件数が並んだ記録(増加・減少の傾向があるもの) |
| プログラミング | 不要。記録と指示文をそのまま貼るだけです |
使う指示文は先行記事の指示文6番そのものです。変えたのは記録の中身だけで、指示文の文字列は1文字も変えていません。
AIへの頼み方
増加傾向のある記録で、2つの窓を直接比較させる
先行記事で使った指示文と一字一句同じです。
まず材料A(前作と同じ8週間の記録。真値は直近14日が6.142857…件/日、56日全体が4.5件/日で、差は約36.5%)に、この指示文をそのまま使いました。
これは実務上「同じ」とみなせるほど近い差ではなく、はっきりとした違いがあると判断します。
2回目も同じ結論でした。
判定:大きく違う(実務上「同じ」とはみなせない)。差は約1.64件/日で、56日平均を基準にすると直近の方が約36%も多い計算になります。
2回とも、真値どおり「大きく違う」と判定しました。先行記事の材料(真値の差約5.7%)では2回とも「同じ」と判定していたので、真値の差が変わると判定も入れ替わっています。
もっと急な増加傾向の記録(材料C)でも試す
同じ指示文を、新しく作った材料C(56日間で1日1〜3件から1日8〜10件まで増えた記録。真値は直近14日が8.214286…件/日、56日全体が4.875件/日で、差は約68.5%)に使いました。指示文は材料Aのときと一字一句同じです。
直近14日の目安 ≈ 8.21件/日。56日全体の目安 = 4.875件/日。差は約3.34件/日、比率にすると直近14日は56日全体の約1.68〜1.69倍。→ 実務上「同じ」とはみなせません。大きく違います。
2回目も同じ結論でした。
差は約3.34件/日、比にすると直近14日の方が56日平均の約1.68倍(68%も多い)です。この差は「誤差」や「ばらつき」で説明できる範囲を大きく超えており、実務上は同じとはみなせません。明確に、大きく違います。
真値の差が約36.5%でも約68.5%でも判定は変わりませんでした。この記事で確かめたのは「はっきり離れている2条件」だけで、差がもっと小さい境界的な条件は試していません(下の「言い直し方」で扱います)。
4回分をまとめると
| 材料・回 | AIが出した14日の目安 | AIが出した56日の目安 | 判定 |
|---|---|---|---|
| 材料A・1回目 | 約6.14件/日 | 4.5件/日 | 「大きく違う」 |
| 材料A・2回目 | 約6.14件/日 | 4.5件/日 | 「はっきりとした違い」 |
| 材料C・1回目 | 約8.21件/日 | 4.875件/日 | 「大きく違います」 |
| 材料C・2回目 | 約8.21件/日 | 約4.88件/日 | 「明確に、大きく違う」 |
目安の数値も、4回とも真値と一致しています。判定の言葉は回ごとに違いますが(「大きく違う」「はっきりとした違い」「明確に、大きく違う」)、どれも「同じではない」という同じ結論です。
うまくいかないときの言い直し方
「大きく違う」と出ても、どれくらいから「違う」扱いにするのか基準が分からない
この記事が確かめたのは、差が約36.5%・約68.5%というはっきり離れた2条件だけです。差が10%や15%のような、どちらとも言えそうな境界的な条件は試していません。境界的な条件での判定は、この記事の結果をそのまま当てはめないでください。
定期監視に組み込むなら、次の順でやるほうが安全です。
- 「何%以上を『違う』とみなすか」を自分で決める
- 先行記事の指示文4番で週ごとの小計を先に出させる
- 増減の傾向そのものを毎回確認する
AIの判定を鵜呑みにせず、数字のほうで最終確認したい
4回とも、AIは判定の根拠として「差は何件/日・比率で何%」という具体的な数字を自分から出していました。判定の言葉(「大きく違う」など)だけでなく、その根拠の数字が記録の実物と合っているかを確認してください。この記事では4回とも、AIが出した14日・56日それぞれの目安が真値(単純平均)と完全に一致していました。数字が合っていて判定も真値どおりなら、その回の判定は信用できます。
出す項目を絞って、定期実行の出力をシンプルにしたい
前作の指示文5番(出す項目を3つに絞り、崩れなかった型)を、この判定にも応用できます。
この型に「直近14日の目安と56日全体の目安が同じとみなせるか」を4項目目として加える案はまだ試していません。足すなら、まずこの記事と同じやり方(独立した新規セッションに2回ずつ)で確かめてから使ってください。
応用・次の一手
「2つの窓は同じか違うか」という判定は、記録の性質(真値の差)に合わせて正しく動きました。この記事までで分かっているのは3点です。
- 真値の差が約6%(フラット)なら、AIは「同じ」と判定する(先行記事・2/2)
- 真値の差が約36.5%・約68.5%(増加傾向)なら、AIは「大きく違う」と判定する(この記事・4/4)
- その間(差10〜30%程度)の境界的な条件は、まだ誰も試していない
定期実行の異常判定に翻訳するなら、こうなります。
- 毎日決まった時刻にAIを動かす仕掛けを作らせるで、指示文6番を定期的に走らせる
- 「大きく違う」が出た回だけ、人間に知らせる
- 前段として目安そのものをAIに計算させる記事の指示文1番(基本形)も組み合わせる
これで、目安と倍率と「同じか違うか」の3つが毎回そろいます。
⚠️ この記事が実測していないことは3つです。
- 真値の差が10〜30%程度の、境界的な条件での判定(「同じ」になるか「大きく違う」になるかの分かれ目)
- 減少傾向(右肩下がり)の記録で同じ判定をしたときの結果
- 記録が数百日まで育った場合や、増加の途中で傾向が止まった記録
次に測るなら、真値の差を10%・20%・30%と段階的に変えた記録を作ります。どこで判定が「同じ」から「大きく違う」に切り替わるかを確かめるところから始められます。