これで何ができるか

動画編集の副業で渡される自動生成キャプション(自動字幕)を、聞き取りミスがないかAIに検品させられます。架空のレビュー動画(炊飯器紹介・18行)のキャプションに、聞き取りミスを8件仕込みました。

  • 同音異義語6件:容量→要領、加熱→過熱、蒸気→常軌、保証→保障、比較→皮革、炊き→焚き
  • 数字2件:価格「32,780円」→「3,278円」、保温時間「最大40時間」→「最大4時間」

このキャプションを、頼み方と分量を変えて5条件・計25回、AIに確認させました。

動画の自動字幕キャプションの検品で、仕込んだ8件の誤り(同音異義語6件・数字2件)を条件ごとに何回拾えたかを示す表。各行は「拾えた件数の合計/40件(8件×5回)」。素朴に『聞き取りミスを指摘して』と頼んだ回は36/40。「自信の低い語に印をつけて」と頼んだ回は40/40。自動字幕だと伝えずに「確認して」と頼んだ回は40/40。キャプションを47行(約2.6倍)に増やして同じ素朴な頼み方をした回は39/40。動画3本分(計46行)をまとめて頼んだ回は、この動画の8件だけを数えて40/40。下の枠には、素朴に聞いた回だけ36/40で、5回中4回、保温時間の数字(最大4時間)だけを見逃したこと、印をつけて聞く・自動字幕だと伝えない・長くする・3本まとめる、のどれに変えてもこの見逃しは起きなかったことが書かれている。
素朴に聞いた回だけ36/40。残り4条件はいずれも39/40か40/40でした。

素朴に「聞き取りミスを指摘して」と頼んだ5回は、36/40(8件×5回)でした。同音異義語6件と価格の数字は、素朴に聞いた回でも5回とも全部拾いました。素朴に聞いた回で見逃したのは、保温時間の数字「最大4時間」だけです。5回中3回は出力にこの行への言及が無く、残り1回は「不自然な変換は見当たりません」と明記して問題なしと判定しました。拾えたのは1回だけです。

ところが、頼み方か分量を1つ変えるだけで、この見逃しは起きませんでした。

  • 「自信の低い語に印をつけて」と頼んだ回:40/40
  • 自動字幕だと伝えずに「確認して」と頼んだ回:40/40
  • キャプションを47行に増やした回:39/40
  • 動画3本分をまとめて頼んだ回:40/40

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 動画編集ソフトやYouTubeから書き出した自動生成キャプションのテキスト
プログラミング 不要。この記事の指示文をコピーして貼るだけです

この記事は「音声を正しく直せるか」を測ったものではありません。測ったのは「キャプションのテキストだけを読んで、おかしそうな箇所を指摘できるか」です。AIは音声を聞いていないので、最終的な正しさは必ず元の音声か資料で確認してください。

架空のクックメイト(架空のブランド)の炊飯器レビュー動画という設定で作ったキャプションを使っています。実在の企業・商品とは関係ありません。

動画編集の副業そのものは台本と構成案の下ごしらえの記事、納品前の検品全般は発注書どおりに検品する記事、文章の検品を受ける副業はAI原稿の直しを受ける記事も参考にしてください。

AIへの頼み方

1. まず素朴に「聞き取りミスを指摘して」と頼む

いちばん短い頼み方から試しました。

これは動画の自動生成キャプションです。聞き取りミスで誤って変換されている可能性がある箇所があれば、指摘してください。

上に続けて、キャプションの全文(18行)を貼ります。

5回とも、同音異義語6件と価格の数字(3,278円)を正しく指摘しました。しかし保温時間の数字「最大4時間」を拾えたのは、5回のうち1回だけでした。3回は出力にこの行への言及が一切なく、残り1回は「保温4時間・内釜の丸洗い・しゃもじの受け皿などは、不自然な変換は見当たりませんでした」と、むしろ問題なしと明記していました。

2. 「自信の低い語に印をつけて」と頼むと、同じ1か所も拾う

聞き方を変えて、同じキャプションでもう一度試しました。

これは動画の自動生成キャプションです。文章としては自然に読めても、聞き取りの自信が低いと思われる語(同音異義語の変換ミスや、数字の聞き間違いの可能性がある語)があれば、印をつけて理由も添えてください。

5回とも8件全部を拾いました。保温時間の数字も、5回とも「『保温機能も充実していて』という文脈に対して4時間は短く、24時間や40時間の聞き間違いの可能性がある」のように、具体的な理由つきで指摘しました。

なぜこの言い方が効くのか

「自信が低いと思われる語」という言い方は、「明らかにおかしい」だけでなく「読めば通るが怪しい」語まで対象にしています。同音異義語6件と価格の数字は、文脈と矛盾するので素朴な聞き方でも目立ちます。一方、保温時間の数字は「保温機能も充実していて」という前置きとは矛盾しない範囲の値で、文として普通に読めてしまいます。「自信の低い語」という基準を示すと、文として通るかどうかではなく、聞き取りの確度そのものを基準に探すようになると考えられます。

うまくいかないときの言い直し方

自動字幕だと伝えなくても拾うか

「聞き取りミス」という前提を伝えなくても同じ結果になるのか、気になったので確かめました。

次の文章を確認して、おかしいところがあれば指摘してください。

同じキャプションを貼って、自動生成であることもASRであることも伝えていません。5回とも8件全部を拾いました。保温時間についても「『充実している』と言うには短すぎる」のように、5回とも数字そのものの不自然さから気づいていました。自動字幕だと伝える前置きが無くても、見逃しは増えませんでした。

キャプションが長くなると見逃しが増えないか

動画が長くなるほど見逃しが増えないかも確かめました。18行のキャプションに、誤りの無い行を29行足して47行(約2.6倍)にし、指示文1と同じ素朴な聞き方をもう一度試しました。

これは動画の自動生成キャプションです。聞き取りミスで誤って変換されている可能性がある箇所があれば、指摘してください。

39/40(8件×5回)でした。保温時間の数字は5回とも拾いました。長くした版には「長時間保温してもにおいが気になりませんでした」「半日ほど保温した状態でも」という行を足していて、この行との食い違いから気づいたと考えられます。かわりに1回だけ、価格の数字(3,278円)を見逃しました。増えた分量でどの1件が落ちるかは、固定ではありませんでした。

応用・次の一手

まとめて複数本の検品を頼みたいなら、動画をまとめて渡すのも試す価値があります。動画編集の副業では、クライアントから数本ぶんの動画がまとめて届くこともあります。

架空のブレンダー・掃除機レビューのキャプション(それぞれ4件の誤りを仕込み)を足して、3本分・計46行を1回の指示でまとめて確認させました。

次の3本の動画の自動生成キャプションです。聞き取りミスで誤って変換されている可能性がある箇所があれば、動画ごとに指摘してください。

5回とも、3本分・計16件(8件+4件+4件)を全部拾いました。1本ずつ渡すときより分量が増えても、動画ごとに区切って指摘したぶん、見逃しは増えませんでした。

8件の仕込み誤りのうち、条件によって結果が割れた唯一の1件(保温時間『最大4時間』、正しくは40時間)だけを取り出した表。各行は「拾えた回数/5回」。素朴に『聞き取りミスを指摘して』と頼んだ回は1/5。『自信の低い語に印をつけて』と頼んだ回は5/5。自動字幕だと伝えずに「確認して」と頼んだ回は5/5。キャプションを47行に増やした回は5/5。動画3本分をまとめて頼んだ回は5/5。下の枠には、素朴に聞いた5回中1回だけ言い間違いの可能性ありと『最大4時間』に触れ、残り4回はこの行だけ『不自然な変換は見当たりません』と明記するか無言で素通りしたこと、条件を1つ変えるだけで5/5に戻ったことからこの誤りだけが際どい位置にあったとわかることが書かれている。
割れたのは8件中1件だけ。それも条件を1つ変えれば戻りました。

毎回この検品を頼むことになりそうなら、手順そのものを教えてもらうこともできます。

動画編集の副業で、クライアントから自動生成キャプションの検品を頼まれることが今後も続きそうです。毎回、聞き取りミスがないかを確認する手順を、プログラミングなしでできる形で、番号を振って教えてください。

2回試したところ、手順の数(13個と15個)は違いましたが、次の骨格は共通していました。

  • 固有名詞(人名・商品名・専門用語)のリストを先にクライアントから聞いておく
  • 同音異義語・数字(金額・日付・時間)を重点的に確認する
  • 音声と字幕を照合する通し確認と、音を消して字幕だけ読む通し確認の2種類を分ける
  • 直した箇所と、判断に迷った箇所を分けて納品する

⚠️ この結果は、架空の動画3本・仕込み誤り16件・計25回の実測です。「どんな聞き取りミスでも必ず拾える」と一般化しないでください。試したのは、次の範囲までです。

  • 誤りは同音異義語と、値そのものが不自然な数字のみ。発音は似ているが意味も自然につながる言い間違いは試していません
  • キャプションは最長47行(約4分半ぶん)まで。10分・20分を超える長尺動画は試していません
  • 判定はテキストの文字列照合のみ。実際の音声との照合や、映像との整合は試していません

今回の生の返りは docs/evidence/naive-caption-check-drops-the-warm-time-number.md に全文置いてあります。