これで何ができるか
毎朝ひとりでに走る点検が、正常なものを1件だけ鳴らす。その1件を止めるとき、代わりに何が見えなくなるかを先に出させる頼み方です。プログラミングは要りません。
このサイトでは図の崩れを毎回ひとりでに検査させると自動化が動いているかを、自分で毎朝確かめさせるの2本で「検査を消さず、誤検知だけを正確に除く条件を足させる」と書いてきました。今回はそれを実際に測っています。
架空の「毎朝の点検・5条」と記録30行を2組つくり、3通りの直し方を全12回、各4段で通しました。①5条を当てる → ②誤報の1行だけ見せて直させる → ③同じ記録に当て直す → ④翌日の別の記録に当てる、の4段です。
③まででは、何も問題が見つかりませんでした。12回とも本物10件は全部まだ鳴り、誤報の1行は12回とも止まり、条文が丸ごと消えた回も0回です。
問題が見えたのは④でした。翌日の記録で、元の条文なら拾えたはずの異常3件のうち、12回で合わせて12件を見落としました。
12回のうち11回が、同じ1件を落としました。それは「止めた誤報と同じ品目」の異常です。除外はその品目ごと効くので、その品目の今後の間違いが丸ごと見えなくなります。
前提
- 毎朝の点検が、番号を振った条文になっていること(第1条、第2条…)
- 点検の結果が行番号で返ること(文章ではなく)
- 正常なものを鳴らした回が、実際に1件あること
1つ目が肝心です。「おかしい行を挙げて」だけの頼み方だと、何を直せばよいのか指せません。条文になっていない人は、まず毎朝の材料が今日ぶんかを、走らせるたびに数えさせるの点検の欄の作り方から入ってください。
この記事は、点検を作る話ではありません。作った点検が本当に鳴るかを試す話は自分で作った検査を、わざと壊して確かめるにあります。ここで扱うのは、その点検を1回ゆるめたあとだけです。
AIへの頼み方
1. まず、いまの条文で判定させる(基準値をとる)
(この下に、5条と今日の記録をそのまま貼ります)
今回の材料は5条+30行です。各条に当たる本物の異常を2件ずつ、合わせて10件仕込みました。加えて、第3条(金額が1,000円未満の行)に当たってしまう無害な行を1件入れてあります。証明書再発行手数料の300円で、これは本当に300円が正しい行です。
12回とも、本物10件を10件とも挙げました。第3条は「3, 8, 18」を返します。8と18は桁落ち(25,000円が250円、12,000円が120円)で本物、3が誤報です。
なぜ行番号だけを返させるのか。あとで自分が突き合わせられるようにするためです。理由や対処が混ざると、直す前と直したあとを並べたときに何が変わったのか分からなくなります。
2. 誤報の1行だけを見せて、直させる
4回とも、第3条だけを直しました。ほかの4条には触っていません。直し方は分かれました。
| 何をしたか | 何回 |
|---|---|
| 品目を名指しして除外(「証明書再発行手数料の行は対象外」) | 多数 |
| 品目の種類で除外(「品目の末尾が『手数料』で終わる行を除く」) | 1回 |
| 第3条そのものを書き換え(「同じ品目でいちばん多く出てくる金額と違う行を挙げる」) | 1回 |
4回とも、直した条文に「これで何が鳴らなくなるか」を自分から書きました。たとえば「証明書再発行手数料そのものの金額間違い(例: 3円、30,000円)は第3条では拾えなくなる、ということです」。この一文が、あとで効いてきます。
3. 同じ記録に当て直す(ここでは何も見つからない)
12回とも、きれいでした。
- 本物10件は12回とも全部まだ鳴る(巻き添え 0件)
- 誤報の1行は12回とも止まった
- 条文が丸ごと消えた回は0回(12回とも5条そろっている)
この段だけを見ると、直しは完璧に見えます。実際、既存の2本が勧めている「検査を消さず、誤検知だけを除く条件を足させる」は、ここまでは実測でそのとおりでした。
4. 翌日の記録に当てる(ここで初めて見える)
翌日の記録は別の20行です。元の第3条なら拾えるはずの桁落ちを3件だけ入れてあります。ほかの4条に当たる違反は1件も入れていません。
落ちたのは、ほぼ同じ1件でした。12回のうち11回が「証明書再発行手数料 30円」(もう1組では「見本用サンプル箱 0個」)を見落としています。止めた誤報と同じ品目の行です。
なぜそこが落ちるのか。除外を「品目が証明書再発行手数料の行」と書くと、その品目の金額を誰も見なくなるからです。300円は正しい。30円は間違い。除外はその2つを区別しません。
⚠️ もう1件は別の理由でした。「品目の末尾が『手数料』で終わる行を除く」と広く直した1回は、翌日、解約事務手数料の500円(本来5,000円)まで落としました。1件を除くつもりが、品目の種類ごと除いています。
満点だった回が1回だけあります。第3条に除外を足すのをやめて、条文そのものを「同じ品目の行が他にもあり、その品目でいちばん多く出てくる金額と違う金額になっている行を挙げる」に書き換えた回です。除外ではなく、判定のしかたを変えた回だけが穴を開けませんでした。
📌 なお、誤報そのものが翌日に戻った回は12回とも0件でした。止めるほうは確実に効いています。
5. 直させる前に、除き方を3通り出させる
ここまで分かれば、頼み方は変えられます。直させる前に止めます。
4回とも3案を出し、4回とも各案について「明日以降鳴らなくなる行」を書きました。返ってきたのはこういう形です。
案A: 品目が「証明書再発行手数料」の行は第3条を適用しない ── 明日以降鳴らなくなる行: 証明書再発行手数料の行は、金額がいくらでも鳴らない。300円が正しいとしても、桁を落として30円と打った行も、0円の行も、同じように黙る。
「まだ直さないでください」が要点です。これが無いと、AIは直したものを出してきます。出てきてしまえば、こちらは「その案の代償は何か」を自分で考えることになります。代償のほうを先に出させると、選ぶのが自分の仕事になります。
6. 除外したぶんを見張る条を、別に足させる
除いたものを、そのまま見えないままにしない方法もあります。
2回とも、除外した品目の金額そのものを見張る条を作りました。
第6条 品目が「証明書再発行手数料」の行のうち、金額が300円でない行を挙げる。
返り自身が「第3条に除外を足したことで、この品目は金額を誰も見なくなりました」と書き、鳴らなくなっていたものを3つ(0円・30円・900円)挙げたうえで、この条がそれを拾うと説明しています。
穴を塞ぐのではなく、穴の形をした検査を1つ足すという形です。条文は増えますが、増えたぶんが、自分が何をあきらめたかの記録になります。
うまくいかないときの言い直し方
直したあと、本当に大丈夫か分からない
同じ記録に当て直しても分かりません。この記事の実測では、それで12回とも巻き添え0件でした。
これはやる価値はあります(条文が丸ごと消えていないかは分かります)。ただしこれで安心してはいけません。見るべきは翌日の記録のほうです。
除外が広すぎる気がする
実際に起きました。「品目の末尾が『手数料』で終わる行を除く」と直した回は、翌日、別の品目まで落としています。
狭い順に並べさせると、広さが目で見えます。実測では、返り自身が「3案の中でいちばん広く、しかも『どの行を見逃したか』が記録に残らない形で広がる」と書いた案がありました。
除外を足したことを、あとから忘れる
条文が増えるのは悪いことではありません。条が増えたぶんだけ、自分が何をあきらめたかが条文に残ります。忘れても、条文を読み返せば出てきます。
毎日走らせると、AIの補足が消える
この実測でいちばん惜しかったところです。4段目の指示文には「5行だけ返してください。理由も対処も書かないでください」と書いてあります。それでも12回のうち7回は、形式を外してまで「その行は除外に当たるので挙がっていません」と自分から書きました。
ところが自動で走らせると、その一文は捨てられて5行だけが保存されます。いちばん大事なことが、いちばん残らない場所に書かれています。
材料2本を各2回、合わせて4回試しました。4回とも6行目が出て、4回とも 除外で挙げなかった行: 3, 5 でした。真値どおりです(3が止めた誤報、5がその品目の桁落ち)。
5行では見えなかったものが、6行目に出てきます。しかも3回は、そのまま「行5は同じ品目の行3が300円なのに対し30円で、桁が1つ少ないため誤りの可能性があります」と続けました。毎朝この6行目だけを見ていれば、あきらめたものが毎朝目に入ります。
応用・次の一手
この記事は、既存の助言を測りに行って半分だけ裏づいた記録です。「検査を消さず、誤検知だけを除く条件を足させる」は、同じ記録では12回とも正しく効きました。足りなかったのは、その先を測る工程です。
同じ形は、点検以外にも出ます。自分で作った検査を、わざと壊して確かめるは作った直後に鳴るかを試す話で、この記事は直したあとにまだ鳴るかを試す話です。この2つは別の日にやる別の作業です。
前月の指摘を渡して点検させる話は毎月の点検を、前回の指摘から始めるに、点検の欄そのものの作り方は毎朝の材料が今日ぶんかを、走らせるたびに数えさせるにあります。
手で点検しているうちは、この記事の話は小さく済みます。鳴らなかったものに人が気づけるからです。効いてくるのは、点検を自動にしたときです。自動になると、鳴らなくなった検査は「静かな朝」と見分けがつきません。除外を1つ足したら、翌日の記録を1回だけ当ててみてください。それだけで、あきらめたものが見えます。
「見逃しを減らしたい」と思ったときに真っ先に足したくなるのが、念押しの一文です。「重要です」を足しても見逃しは減らないで実際に試すと、「これは重要な確認です。見逃すと困ります」を足しても検出数は動きませんでした。効いたのは、念押しの強さではなく「何を・何と比べるか」を名指しすることでした。