これで何ができるか

山も谷もない記録なら、目安は変わらない——動いたのは6%だけは、増減の無い記録で「直近14日の目安と56日全体の目安は、実務上同じとみなせるか」をAI自身に判定させました。2回とも正しく「同じ」と答えています。あの記事の締めはこうでした——「増加傾向のある記録で、同じ判定をしたときに正しく『大きく違う』と言えるかは、まだ測っていません」。

今回はそこを埋めます。増加傾向のある架空の記録2本で、同じ判定を試しました。結論は2つです。

  1. 4回とも、正しく「大きく違う」と判定しました。材料A(真値の差約36.5%)・材料C(真値の差約68.5%)のどちらも、2回ずつ試して4回中4回「大きく違う」という結論でした
  2. 先行記事(同じ記録・同じ判定依頼)と合わせると、2×2のマスのうち2マスが埋まりました。フラットな記録では「同じ」、増加傾向の記録では「違う」と、真値どおりに判定が割れています
記録の性質(フラット/増加傾向)とAIが出す判定(同じ/大きく違う)を2行2列にした表。左上(フラット×同じ)は前作flat-logで2/2正しいと確認済み。右下(増加傾向×大きく違う)はこの記事で材料A2回・材料C2回の4/4が正しいと確認。左下(増加傾向×同じ)と右上(フラット×大きく違う)は、出れば誤りのはずの組み合わせで、今回も試していない。下の枠にも同じ内容が書かれている。
埋まったのは右下の1マス。残り2マスは「出れば誤り」なので今回も試していません。
記録の性質 真値の差 聞いた回数 AIの判定
フラット(先行記事) 約5.7% 2回 2回とも「同じ」
増加傾向・材料A(この記事) 約36.5% 2回 2回とも「大きく違う」
増加傾向・材料C(この記事) 約68.5% 2回 2回とも「大きく違う」

真値がはっきり近いときは「同じ」、真値がはっきり離れているときは「大きく違う」。この記事までで、両方とも実測で確かめられました。

📌 この記事の数字はすべて架空データでの実測です。材料Aは前作と同じ8週間(56日)の問い合わせフォーム受信件数ログ、材料Cはこの記事で新しく作った、より急な増加傾向の記録です。指示文は一字一句同じものを、独立した4回の呼び出しで試しました。生の返りと機械照合は docs/evidence/increasing-log-judgment-comes-out-right.md に全文置いてあります。

⚠️ 実測の仕方が1点、先行2本と違います。

  • 先行2本は、同一セッション内のサブエージェント呼び出しで試しました
  • この記事は、実在する独立したクラウドセッション4つ(記憶を共有しない別々のコンテナ)に同じ依頼を送りました
  • 答えた側が自分の回答をそのままページに保存し、そのページを読みに行きました

やり方は変わっても、「材料を作った本人とは別の、答えを知らない側に答えさせる」という条件は変わっていません(詳細は証拠ファイルの冒頭)。

前提

かかる時間 10分。先行記事を先に読むと早いです
費用 無料。無料のチャットAIで足ります
必要なもの 毎日の件数が並んだ記録(増加・減少の傾向があるもの)
プログラミング 不要。記録と指示文をそのまま貼るだけです

使う指示文は先行記事の指示文6番そのものです。変えたのは記録の中身だけで、指示文の文字列は1文字も変えていません。

AIへの頼み方

増加傾向のある記録で、2つの窓を直接比較させる

先行記事で使った指示文と一字一句同じです。

これは問い合わせフォームに届いた件数の記録です。直近14日分の記録と、直近14日分に古い42日分を足した56日分全部の記録、の2つを渡します。それぞれについて、ふだんの1日あたりの件数の目安を計算してください。そのうえで、2つの目安が実務上同じとみなせるほど近いか、それとも大きく違うかを判定し、理由を書いてください。

まず材料A(前作と同じ8週間の記録。真値は直近14日が6.142857…件/日、56日全体が4.5件/日で、差は約36.5%)に、この指示文をそのまま使いました。

これは実務上「同じ」とみなせるほど近い差ではなく、はっきりとした違いがあると判断します。

2回目も同じ結論でした。

判定:大きく違う(実務上「同じ」とはみなせない)。差は約1.64件/日で、56日平均を基準にすると直近の方が約36%も多い計算になります。

2回とも、真値どおり「大きく違う」と判定しました。先行記事の材料(真値の差約5.7%)では2回とも「同じ」と判定していたので、真値の差が変わると判定も入れ替わっています。

もっと急な増加傾向の記録(材料C)でも試す

同じ指示文を、新しく作った材料C(56日間で1日1〜3件から1日8〜10件まで増えた記録。真値は直近14日が8.214286…件/日、56日全体が4.875件/日で、差は約68.5%)に使いました。指示文は材料Aのときと一字一句同じです。

これは問い合わせフォームに届いた件数の記録です。直近14日分の記録と、直近14日分に古い42日分を足した56日分全部の記録、の2つを渡します。それぞれについて、ふだんの1日あたりの件数の目安を計算してください。そのうえで、2つの目安が実務上同じとみなせるほど近いか、それとも大きく違うかを判定し、理由を書いてください。

直近14日の目安 ≈ 8.21件/日。56日全体の目安 = 4.875件/日。差は約3.34件/日、比率にすると直近14日は56日全体の約1.68〜1.69倍。→ 実務上「同じ」とはみなせません。大きく違います。

2回目も同じ結論でした。

差は約3.34件/日、比にすると直近14日の方が56日平均の約1.68倍(68%も多い)です。この差は「誤差」や「ばらつき」で説明できる範囲を大きく超えており、実務上は同じとはみなせません。明確に、大きく違います。

真値の差が約36.5%でも約68.5%でも判定は変わりませんでした。この記事で確かめたのは「はっきり離れている2条件」だけで、差がもっと小さい境界的な条件は試していません(下の「言い直し方」で扱います)。

4回分をまとめると

増加傾向のある問い合わせ受信件数の記録2本(材料A・材料C)で、直近14日の目安と56日全体の目安を4本の横棒で比べた図。材料Aは直近14日6.14件/日・56日全体4.50件/日で差は約37%。材料Cは直近14日8.21件/日・56日全体4.88件/日で差は約68%。下の枠には、材料Aの真値差が約36.5%、材料Cの真値差が約68.5%であること、どちらも増減の無いフラットな記録(差約6%)とは別の性質を持つことが書かれている。
どちらの材料も、直近14日の目安が56日全体よりはっきり高くなっています。
材料・回 AIが出した14日の目安 AIが出した56日の目安 判定
材料A・1回目 約6.14件/日 4.5件/日 「大きく違う」
材料A・2回目 約6.14件/日 4.5件/日 「はっきりとした違い」
材料C・1回目 約8.21件/日 4.875件/日 「大きく違います」
材料C・2回目 約8.21件/日 約4.88件/日 「明確に、大きく違う」

目安の数値も、4回とも真値と一致しています。判定の言葉は回ごとに違いますが(「大きく違う」「はっきりとした違い」「明確に、大きく違う」)、どれも「同じではない」という同じ結論です。

うまくいかないときの言い直し方

「大きく違う」と出ても、どれくらいから「違う」扱いにするのか基準が分からない

この記事が確かめたのは、差が約36.5%・約68.5%というはっきり離れた2条件だけです。差が10%や15%のような、どちらとも言えそうな境界的な条件は試していません。境界的な条件での判定は、この記事の結果をそのまま当てはめないでください。

定期監視に組み込むなら、次の順でやるほうが安全です。

  1. 「何%以上を『違う』とみなすか」を自分で決める
  2. 先行記事の指示文4番で週ごとの小計を先に出させる
  3. 増減の傾向そのものを毎回確認する
これは問い合わせフォームに届いた件数の記録です。まず1週間ごとの合計を出し、次にそれぞれを7で割って週ごとの平均を出してください。そのうえで、全体のふだんの1日あたりの件数の目安を計算し、本日の件数34件がふだんの目安の何倍にあたるかを書いてください。

AIの判定を鵜呑みにせず、数字のほうで最終確認したい

4回とも、AIは判定の根拠として「差は何件/日・比率で何%」という具体的な数字を自分から出していました。判定の言葉(「大きく違う」など)だけでなく、その根拠の数字が記録の実物と合っているかを確認してください。この記事では4回とも、AIが出した14日・56日それぞれの目安が真値(単純平均)と完全に一致していました。数字が合っていて判定も真値どおりなら、その回の判定は信用できます。

出す項目を絞って、定期実行の出力をシンプルにしたい

前作の指示文5番(出す項目を3つに絞り、崩れなかった型)を、この判定にも応用できます。

これは来店予約の件数の記録です。毎回この形で処理してください。 ①この記録から、ふだんの1日あたりの件数の目安を計算して書く ②本日の件数29件が、ふだんの目安の何倍にあたるかを書く ③②が5倍を超えているかどうかを1行で この3つ以外は書かないでください。

この型に「直近14日の目安と56日全体の目安が同じとみなせるか」を4項目目として加える案はまだ試していません。足すなら、まずこの記事と同じやり方(独立した新規セッションに2回ずつ)で確かめてから使ってください。

応用・次の一手

「2つの窓は同じか違うか」という判定は、記録の性質(真値の差)に合わせて正しく動きました。この記事までで分かっているのは3点です。

  1. 真値の差が約6%(フラット)なら、AIは「同じ」と判定する(先行記事・2/2)
  2. 真値の差が約36.5%・約68.5%(増加傾向)なら、AIは「大きく違う」と判定する(この記事・4/4)
  3. その間(差10〜30%程度)の境界的な条件は、まだ誰も試していない

定期実行の異常判定に翻訳するなら、こうなります。

これで、目安と倍率と「同じか違うか」の3つが毎回そろいます。

これは問い合わせフォームに届いた件数の記録です。この記録から、ふだんの1日あたりの件数の目安を計算してください。そのうえで、本日の件数34件が、ふだんの目安の何倍にあたるかを書いてください。
これは問い合わせフォームに届いた件数の記録です。直近14日分の記録と、直近14日分に古い42日分を足した56日分全部の記録、の2つを渡します。それぞれについて、ふだんの1日あたりの件数の目安を計算してください。そのうえで、2つの目安が実務上同じとみなせるほど近いか、それとも大きく違うかを判定し、理由を書いてください。

⚠️ この記事が実測していないことは3つです。

  • 真値の差が10〜30%程度の、境界的な条件での判定(「同じ」になるか「大きく違う」になるかの分かれ目)
  • 減少傾向(右肩下がり)の記録で同じ判定をしたときの結果
  • 記録が数百日まで育った場合や、増加の途中で傾向が止まった記録

次に測るなら、真値の差を10%・20%・30%と段階的に変えた記録を作ります。どこで判定が「同じ」から「大きく違う」に切り替わるかを確かめるところから始められます。