これで何ができるか

公式仕様書を1件ずつ照合させる記事は、動画の自動字幕にある数字の誤りを80件中80件(100%)拾えると確かめました。ただし、この記事は「仕様書の値はつねに正しい」という前提のままでした。

この記事は、仕様書そのものが古く、キャプション側がすでに現行の正しい値になっているケースを試しました。結果です。

  • 指示文1(照合)では、新しい仕込み(キャプション正・仕様書が古い)も先行記事型の仕込み(キャプション誤り)と見分けがつきませんでした。6回中6回とも「不一致」と指摘されました
  • 「キャプション側が正しいかもしれない」に自分から触れたのは6回中3回でした。ただし触れたのはキャプションに「実際に手に持って量ってみると」という実測の言い回しがあった材料だけです
  • 指示文2で「仕様書の値に直して」と頼むと、その3回を含めて4回とも、正しいキャプションの値が古い仕様書の値に書き換わりました
加湿器とロボット掃除機の架空キャプションで、指示文1(照合)と指示文2(修正)の結果を示す表。新しい仕込み(キャプションが正しく仕様書が古い項目)が指示文1で『不一致』と指摘された回数は6/6。キャプション側が正しい可能性に自分から触れた回数は6回中3回(材料A・本体重量のみ)。その新しい仕込みが指示文2で古い仕様書の値に書き換えられた回数は4/4で赤く塗られている。先行記事型の仕込み(キャプションが誤り・仕様書が正しい項目)が指示文2で正しい値に修正された回数は4/4。下の枠には、指示文1の段階では新しい仕込みも先行記事型の仕込みと見分けがつかず6/6が不一致と判定されたこと、キャプション側が正しい可能性に触れたのは実測の言い回しがあった材料だけで6回中3回だったこと、指示文2では正しいキャプションの値も4/4が古い仕様書の値に化けたことが書かれている。
疑っても、「直して」には従って数字を書き換えました。

なぜこうなったか。指示文1は「キャプションと仕様書が一致するか」しか聞いていません。AIにとって、どちらが正しいかを判断する材料はもともと無いのです。指示文2で「仕様書の値に直して」とどちらを正とするかを明示した瞬間、仕様書の方が無条件に正になります。

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 動画編集ソフトから書き出した自動生成キャプションと、メーカー公式の仕様書
プログラミング 不要。この記事の指示文をコピーして貼るだけです

架空の加湿器「しずく式SH-200」、架空のロボット掃除機「クルリン RV-7」という設定を使っています。実在の企業・商品とは関係ありません。

副業の検品全般は発注書どおりに検品する記事、同じ仕様書照合の先行記事は字幕の数字誤りを100%拾う記事も参考にしてください。

AIへの頼み方

1. 加湿器のキャプションを、古い仕様書と照合する

キャプションのあとに、仕様書をそのまま続けて貼ります。仕様書のタンク容量は正しい値(3.0リットル)ですが、本体重量だけ古い値(1.5kg)のままです。キャプション側は、タンク容量を聞き取りミスで3.3リットルと誤記しました。本体重量は「実際に手に持って量ってみると」1.2kgと、正しく測っています。

このキャプションに出てくる数字が、添付した仕様書の値と一致するか、1件ずつ確認してください。食い違いがあれば指摘してください。

上に続けて、キャプション9行・仕様書8項目を貼りました。独立したAIプロセス(事前知識ゼロ)に3回試したところ、3回とも「タンク容量」「本体重量」の2件を不一致と指摘しました。ただし本体重量については、3回とも次のような留保が付きました。

本体重量: キャプションは1.2kg、仕様書は1.5kgです。キャプションには「実際に量ってみると」とあるので、
実測値が仕様書と異なる可能性があります。ただし、0.3kgの差は計量誤差としては大きいため、計量条件
(水やアダプターの有無など)を確認するか、仕様書の値に合わせて修正することをおすすめします。

タンク容量(キャプションの聞き取りミス)には、こうした留保が一度も付きませんでした。

2. ロボット掃除機のキャプションでも、同じ指示文で試す

ロボット掃除機でも、仕様書の「水拭きモード:なし」だけが古い記載です(発売後の改修で追加された機能のため)。キャプション側は現行の正しい値「搭載されています」にしましたが、こちらは「実際に測った」というような言い回しを付けませんでした。

このキャプションに出てくる数字が、添付した仕様書の値と一致するか、1件ずつ確認してください。食い違いがあれば指摘してください。

3回試した結果です。

仕込み 種類 不一致と指摘された回数 キャプション側が正しい可能性への言及
バッテリー連続稼働(キャプション「1000分」が誤り・仕様書「100分」が正しい) 先行記事型 3/3 0/3
水拭きモード(キャプション「搭載されています」が正しい・仕様書「なし」が古い) 新しい仕込み 3/3 0/3

水拭きモードは3回とも「キャプションの記述は誤り」と、留保なしで断定されました。加湿器の本体重量(3/3で留保あり)と、まったく逆の結果です。違いは、仕様書の古さではなく、キャプション側が独立した検証を示す言い回しを含んでいたかどうかでした。

3. 見つかった食い違いを、仕様書の値に直させる

見つかった食い違いをもとに、キャプションの数字を仕様書の値に直した完成版を書いてください。

ここが核心です。指示文1の続きとして、加湿器・ロボット掃除機それぞれ2回試しました。

項目 正しい値(キャプション) 仕様書の値(古い) 直した結果
本体重量(加湿器・留保あり3/3の続き) 1.2kg 1.5kg 1.5kgに書き換え(2/2)
水拭きモード(掃除機・留保なし0/3の続き) 搭載されている なし 「搭載されていません」に書き換え(2/2)

正しいキャプションの値が、4回とも古い仕様書の値に書き換わりました。留保を付けていた加湿器の回も例外ではありません。一方、先行記事型の仕込み(キャプションの聞き取りミス)は4回とも正しく修正されています。AIの動きとしては一貫していて、「仕様書に揃える」という1つの規則を、正しい場合も古い場合も区別せずに適用しただけです。

うまくいかないときの言い直し方

キャプション側が正しいと疑った回でも、書き換えは止まらなかった

指示文1で「実測値が仕様書と異なる可能性がある」と留保を付けた加湿器の回の続きで、指示文2を試しました。

見つかった食い違いをもとに、キャプションの数字を仕様書の値に直した完成版を書いてください。

本体重量は、やはり1.5kgに書き換わりました。しかも、単に数字を直すだけではありませんでした。「実際に手に持って量ってみると」という実測を示す言い回し自体まで、踏み込んで外しています。

重さの文は、元の「実際に手に持って量ってみると〜でした」を外して「〜です」にしました。仕様書の
値に直すと、実測したように読める表現が事実と合わなくなるためです。実測で1.5kgだった場合は、
元の言い回しに戻しても問題ありません。

疑いを言葉にしたことと、実際に数字を書き換える行動は別物でした。「見つかった食い違いをもとに、仕様書の値に直して」という直接の指示文の力の方が強く、直前の疑いを上書きしています。

→ 仕様書を基準に使うなら、AIに判断を預けず、自分で仕様書の発行日・版表記を先に確認してください。特に、発売後に仕様変更があった製品は注意してください。マイナーチェンジやソフトウェア更新で機能が追加されても、公式サイトの仕様書PDFが更新されていないことがあります。

「どちらが正しいか分からないときは、保留にして」と言い直す

仕様書とキャプションのどちらが正しいとも決めないよう、指示文を変えて試しました。

見つかった食い違いについて、キャプションと仕様書のどちらが正しいとは決めず、「要確認」として両方の値を残した完成版を書いてください。

2回試したところ、2回とも両方の項目に〔要確認:キャプション◯/仕様書◯〕という注記が付きました。対象は加湿器の「タンク容量」「本体重量」、掃除機の「バッテリー」「水拭きモード」です。どちらの値にも書き換えられていません。先行記事型の仕込み(本当にキャプションが誤っている項目)まで、仕様書の値へ自動では直らなくなります。見逃しが無くなる代わりに、人が最終判断をする手間が戻ってきます。

→ 「仕様書に揃えて」と「どちらが正しいか分からないから保留にして」は、トレードオフです。仕様書の鮮度に自信があるときだけ前者を使い、自信が無いときは後者で止めて自分の目で確認してください。

応用・次の一手

仕様書を使う前に、更新日そのものをAIに確認させる手もあります。

この仕様書の発行日・版表記を確認し、何年何月版かを教えてください。もし版表記が無ければ「版表記なし」と答えてください。

2回試したところ、2回とも「2024年11月版」「2024年8月版」という版表記をそのまま正しく読み取りました。版表記を読み取れることと、その古さに注意を払って行動を変えることは、やはり別でした。この指示文だけでは「だから書き換えに注意してください」という助言までは出てきません。読み取った日付をもとに自分で「この仕様書は何か月前の情報か」を判断する必要があります。

同じ仕様書照合シリーズの字幕の数字誤りを100%拾う記事では、仕様書から項目を外すと「照合不可」として保留されることを確かめました。仕様書が「無い」ときは保留になりますが、仕様書が「古いのに存在する」ときは保留になりません。この違いが今回の発見です。

副業の検品全般は発注書どおりに検品する記事も参考にしてください。

⚠️ この結果は、架空の加湿器・ロボット掃除機2本・仕込み各2件・計14回(指示文1×6回+指示文2×4回+指示文3×2回+指示文4×2回)の実測です。「仕様書が古いと必ず書き換える」と一般化しないでください。試したのは、次の範囲までです。

  • 仕様書が古いのは各材料1項目だけです。複数項目が同時に古い場合は未検証です
  • 古さの手がかりは仕様書タイトルの版表記(「2024年11月版」等)のみです。版表記が無い仕様書は未検証です
  • 材料は2本・各8項目までです。項目数がもっと多い仕様書は未検証です

今回の生の返りと機械判定は docs/evidence/outdated-spec-sheet-overwrites-correct-caption.md に全文置いてあります。