これで何ができるか
自動字幕の検品を「まず数字を全部リストアップしてから、1件ずつ確認する」2段階に分けても、見逃しは大きくは減りません。先行記事は、文脈上どちらでも成立する自然な数字の誤り(「家族4人分」が正しくは3人分、など)を試しました。素朴な一括確認(「聞き取りミスがないか確認して」)では、80回中23回(28.75%)しか拾えません。同記事は2段階方式を、試していない次の一手として挙げていました。この記事はその宿題に答えます。
先行記事と同じ架空のレビュー動画キャプション(ブレンダー「ミックスマイスター」・掃除機「クリーンエース」、各8件の仕込み)を使いました。判定基準も同じです。仕込んだ誤りが、個別に名指しで指摘されたかだけを数えます。
まず「数字をタイムスタンプつきで全部リストアップして」と頼みます。続けて「このリストの数字が一般的な範囲か確認して」と頼みます。**この2段階を、2種類の材料×5回=10回(80件の判定)試したところ、29/80(36.25%)でした。**素朴な一括確認の28.75%からは8ポイントほど上がります。ただし、先行記事が試した「数値に注意して確認して」という1段階の言い方(48回中19回・約40%)と比べても、特に優れているわけではありません。
前提
| かかる時間 | 15分 |
| 費用 | 無料。ブラウザのチャットAIで足ります |
| 必要なもの | 動画編集ソフトやYouTubeから書き出した自動生成キャプションのテキスト |
| プログラミング | 不要。この記事の指示文をコピーして貼るだけです |
この記事は「音声を正しく直せるか」を測ったものではありません。測ったのは「キャプションのテキストだけを読んで、文脈上は自然だが値が違う数字に気づけるか」です。最終的な正しさは必ず元の音声か製品の仕様書で確認してください。架空の製品名を使っています。実在の企業・商品とは関係ありません。
AIへの頼み方
1. ブレンダーのキャプションで、まず数字を全部リストアップさせる
上に続けて、ブレンダーのキャプション全文を貼ります。**5回とも、仕込んだ8件を含む11〜12件の数字を見落としなくリストアップしました。**ここまでは安定しています。
2. 続けて、リストの数字を1件ずつ確認させる
同じ会話を続けて、2回目の指示を送ります。
**5回のうち、仕込んだ8件を見つけた件数は合計12件(12/40)でした。**見つけた回数は項目によって差があります。
- 「8枚刃」:5回とも見つけた
- 「バッテリー40分」:4回見つけた
- 「保証2年間」:3回見つけた
- 「家族4人分」「洗浄30秒」「レシピ50種類」「パーツ7点」「冷却3分」:5回とも一度も見つからなかった
3. 掃除機のキャプションでも同じ2段階を試す
ブレンダーと同じ指示文を、掃除機のキャプションに続けて貼ります。こちらも5回とも、仕込んだ8件を含む11〜12件を見落としなくリストアップしました。
4. 掃除機のキャプションで、続けて1件ずつ確認させる
5回のうち、仕込んだ8件を見つけた件数は合計17件(17/40)でした。
- 「吸引力6段階」「ヘッド2人分」「保証3年間」:5回とも見つけた
- 「満タンになる掃除回数」「フィルター掃除の頻度」:それぞれ1回だけ見つけた
- 「バッテリー35分」「充電4時間」「ノズル4種類」:5回とも一度も見つからなかった
なぜ大きくは変わらないのか
2種類の材料・合計10回(80件)を通じて、2段階で見つかったのは29件です。8項目(家族4人分・洗浄30秒・レシピ50種類・パーツ7点・バッテリー35分・充電4時間・ノズル4種類・冷却3分)のうち6項目は、2段階に変えても一度も見つかりませんでした。これらは、仕込んだ誤った値そのものが「製品としてありえない値」ではないからです。**先に数字を書き出させても、AIが比べる基準は「一般的な製品としてありそうか」のままです。**単体で見てもっともらしい値は、そのキャプション自身が本来言っていたはずの値と違っていても気づかれません。
うまくいかないときの言い直し方
2段階を1通のメッセージにまとめると、どうなるか
会話を2回に分けず、同じ内容を1通のメッセージにまとめて試しました。
ブレンダーのキャプションで3回試したところ、「8枚刃」「バッテリー40分」は概ね見つかりました。ただし3回のうち2回は、正しい値である「充電2時間」まで誤って疑いました。理由は「バッテリー40分使用に対して充電2時間は比率が合わない」でした。2回に分けて聞いたときは、10回を通じて正しい値を誤って疑った回は0回だったので、これは新しい崩れ方です。
「まずリストアップ」を省くと、どうなるか
リストアップの指示を省き、確認の指示文だけを直接送った場合も試しました。
ブレンダーのキャプションで3回試したところ、見つけた件数は合計5件(3回×8項目中・20.8%)でした。**同じ材料・同じ確認の言い方でも、先にリストアップさせた版(12/40・30%)より低くなりました。**さらに3回のうち2回は、正しい値である「充電2時間」まで誤って疑いました。
会話を2回に分けたときは、1回目のリスト作成と2回目の確認が別の作業として扱われます。1通にまとめたり、リストアップの手順自体を省いたりすると、AIが項目どうしを比較しにいく動きが強まるようです。その結果、仕込んでいない組み合わせにまで疑いを広げると考えられます。
応用・次の一手
**今回分かったのは、「一般的な製品としてありそうか」という基準では、単体で見てもっともらしい値には届かないということです。**次に試す価値があるのは、「一般的な範囲か」ではなく「その製品の公式仕様(商品ページやパッケージ)と一致するか」を確認させる方法です。これなら「家族4人分」も「実際は3人分」という具体的な答えと直接突き合わせられます。
⚠️ この結果は、この2種類の架空データ・合計13回(2段階10回+1通版3回)の実測です。「2段階にすれば検出率が上がる」と一般化しないでください。試したのは、次の範囲までです。
- 仕込みは先行記事と同じ、文脈上どちらでも成立する自然な数字の誤り16件のみ
- 2段階の指示文は、この記事で使った言い回し(「まずリストアップ」→「一般的な範囲か確認」)のみ。言い回しを変えると結果が変わる可能性があります
- 1通にまとめた版の実測はブレンダー材料のみ3回。もっと多く試すと、崩れの頻度が変わる可能性があります
動画の自動字幕の検品を実測した先行記事では、値そのものが不自然な誤りなら素朴な指示文で97.5%拾えています。今回のように文脈上自然な誤りだけが、どの言い方でも苦手なままです。
今回の生の返りは docs/evidence/number-list-first-barely-helps.md に全文置いてあります。