これで何ができるか
以前、PREP法(結論→理由→具体例→結論)を指定してお知らせ文を書かせると、資料に無い「変更前の値」を具体例欄が作ってしまう記事を公開しました。ただし、あの記事で試した材料は、どれも比較しなければいけない箇所が常に1か所だけでした。この記事は、比較対象が1か所から2か所に増えたら、作る個数も2倍になるかを実測したものです。
仮説は「比較対象が増えるほど、1か所あたりの作る率は下がらない(=2か所なら1か所の2倍以上は作るはず)」でした。架空の駐車場とジムの時刻変更案内で、比較対象の数を2水準に振りました。
- 1か所: 出入庫時間だけ/営業終了時刻だけ
- 2か所: 出入庫時間+精算窓口時間/営業終了時刻+営業開始時刻
それぞれPREP法を指定して5回ずつ試しています(材料2本×条件2水準×5回=20回)。
結論から言うと、仮説は外れました。比較対象が1か所のときは10回中7回、資料に無い「変更前の時刻」を作りました。ところが同じ変更を2か所に増やすと、満点20個所中0個所——1件も作りませんでした。比較対象が増えるほど、作る個数は減りました。
前提
| かかる時間 | 15分 |
| 費用 | 無料。ブラウザのチャットAIで足ります |
| 必要なもの | 特にありません。お知らせ文をPREP法で書かせる場面の話です |
| プログラミング | 不要。この記事の指示文をコピーして貼るだけです |
「2か所なら安全」という意味ではありません。2か所条件で作らなかったのは、代わりに「変更前より短縮」「現行より変更」というラベルだけで済ませたからです。具体的な間違った数字は出ませんが、読者が知りたい『変更前はいくらだったか』にも答えていません。どちらの条件でも、資料に無い情報を確認せずに送ってよいわけではないことは同じです。
AIへの頼み方
1. まず、比較対象が1か所だけの案内でPREP法を指定する(駐車場)
5回試しました。5回中2回、「これまで24時間出入庫が可能でしたが」のように、資料に一言も書いていない「変更前の運用」を作りました。
2. 別の題材(ジムの営業時間)でも、比較対象1か所で試す
5回試しました。5回とも「これまで平日20時までとしておりました」のように、資料に無い「変更前の営業終了時刻」を作りました。しかも5回とも同じ「20時」という数字が出ました。当てずっぽうにしては揃いすぎています。
3. 同じ駐車場の案内に、比較対象をもう1か所足す
比較対象を1か所から2か所に増やしても、同じ「作る」性質が2倍になるかを確かめます。
5回試しました。5回とも、具体的な「変更前」の数字は1つも出ませんでした。返りの形も変わり、「・出入庫可能時間:23時まで(変更前より短縮)」「・精算窓口対応時間:20時まで(変更前より短縮)」のように、箇条書き+ラベルだけで済ませる形になりました。
4. 同じジムの案内に、比較対象をもう1か所足す
5回試しました。こちらも5回とも、具体的な「変更前」の数字は1つも出ませんでした。1か所条件で5回とも出ていた「20時」という数字は、2か所条件では1回も出てきませんでした。
うまくいかないときの言い直し方
「比較対象が2つあるから、作る数も増えるはず」と決めつけない
この実測では、逆でした。比較対象を増やすと、AIは具体的な数字で埋めることをやめて、ラベルだけで済ませるほうへ切り替わりました。「変更前より短縮」「現行より変更」という書き方は、間違った数字よりは安全に見えますが、読者が本当に知りたい「変更前はいくらだったか」にも答えていません。比較対象の数にかかわらず、変更前の値が必要なら、その値を自分で用意して渡すか、次の一文で埋めさせないようにしてください。
材料1(駐車場・1か所条件)に、この一文を足して2回試しました。2回とも「変更前」の時刻には一切触れず、資料にある新しい時刻だけで案内文を完結させました。5回中2回作っていたのが2回中0回になっています。別の記事でも同じ一文が理由・変更前の値とも0/3に効いています。比較対象の数にかかわらず、この一文は有効でした。
材料2(ジム・1か所条件、5回中5回作っていたほう)にも同じ一文を足して2回試しました。こちらも2回とも「変更前」の時刻(20時)には一切触れませんでした。5回とも同じ数字を作っていた材料でも、この一文で止まりました。
「作らなくなった」と「ちゃんと答えた」は別
2か所条件の返りを読み返すと、「変更前より短縮」だけで済ませた回が大半でした。これは資料に無い数字を作らなくなっただけで、読者が知りたい情報(実際の変更前の値)を提供できているわけではありません。変更前の値を案内文に載せたいなら、AIに聞くのではなく、自分の記録(契約書・過去のお知らせ)から確認して渡してください。見積もりの漏れやすさを見分ける記事にある「材料の数字がどれだけ埋まっているかで漏れが変わる」という考え方は、この記事の「比較対象の数」にも当てはまります。埋まっていない数が多いほど、AIは埋めるのをあきらめる方向に動くことがある、という新しい一面です。
応用・次の一手
同じお知らせで「比較対象を増やす/減らす」を自分で試すときは、返りの形が変わっていないかも見てください。この記事では、比較対象が増えたことで間違った数字が減った代わりに、必要な情報も減りました。数字が0件だから安全、とは限りません。「うまくいっている」を機械で確かめる記事にあるとおり、返りの見た目が整っているかどうかと、中身が足りているかどうかは別に確認してください。
⚠️ この結果は、この2つの架空の案内(駐車場・ジム)・のべ20回での実測です。「比較対象が増えれば必ず作らなくなる」と一般化しないでください。この記事は_hypothesis_queue.mdのH21(凍結済みの反証条件)を検証したものです。当初は駐車場料金・ジム会費の「値上げ」で試しましたが、そちらでは変更前の金額を作る回自体が0/10しかなく、前提が成立しませんでした(時刻の変更に材料を組み直してから実測しています)。同じ「PREP法の具体例欄」というテーマを扱った理由の捏造まで確かめた記事とあわせて読むと、材料の種類によって崩れ方が変わることが分かります。
今回の生の返り20回ぶんと判定コードは docs/evidence/second-blank-empties-the-fabrication.md に全文置いてあります。