数字の作り話を一文で止める——範囲では0/6、金額の計算では4/4のまま

これで何ができるか

「知らない場合は知らないと答えてください」——ハルシネーション対策として、こう頼むといい、という話をよく見かけます。この記事は、その一文だけで、資料を見せずに聞いたときの数字の作り話が止まるかを実測したものです。

題材はKindle出版のロイヤリティです。Kindleの印税を式から出す記事で、AIに資料なしで印税を聞くと、70%ロイヤリティを選べる価格帯を毎回「250円〜1,250円」と答えることを確認しました。原文の正しい上限は1,650円なので、これは作り話です。ただしあの記事は「資料あり＋逃げ道あり」と「資料なし・逃げ道なし」の2点しか測っておらず、「逃げ道の一文だけ」を単体で足したらどうなるかは一度も確かめていませんでした。

質問を2種類用意し、それぞれに逃げ道の一文を足す・足さないを比べました。

• 範囲を聞く質問「70%のロイヤリティを選べる希望小売価格の範囲は、日本ではいくらからいくらまでですか。」
• 金額を計算させる質問「500円のKindle本が1冊売れたとき、著者が受け取る印税はいくらですか。」

どちらも資料は一切見せていません。6回・4回という少ない回数での実測です。

結論から言うと、「知らない場合は知らないと答えて」は万能ではありません。範囲を聞く質問では6回中4回あった作り話が6回とも0件に下がりましたが、金額を計算させる質問では4回中4回のまま1件も減りませんでした。質問の型によって、同じ一文の効き目がまったく違いました。

前提

いちばん確実なのは、こちらが資料を渡すか、自分で公式ページを確認することです。この記事の頼み方は、資料が手元に無い・すぐ用意できないときの次善策にすぎません。実際にKindleで出版するなら原文の式と条件を確かめる記事のとおり、原文を貼って聞いてください。

AIへの頼み方

1. まず、範囲を聞く質問をそのまま聞く

6回試しました。6回中4回が、具体的な数字「250円〜1,250円」を言い切りました。実際の上限は1,650円なので、これは間違った作り話です。残り2回は「数百円〜数千円程度」のような丸めた言い方や、サービス名を聞き返すだけで、具体的な数字までは言い切りませんでした。

2. 同じ質問に「分からない場合は、分からないと答えてください」を足す

6回とも「分かりません」で始まり、円のついた具体的な数字は6回とも0件でした。指示文1で4/6あった作り話が、この一文を足すだけで0/6に下がりました。

3. 逃げ道の一文を、質問の前に置いてみる

一文を足す場所によって効き方が変わることがある、という別の記事の実測があったので、同じ一文を先に言う形も試しました。

こちらも6回とも0件でした。この材料では、逃げ道の一文を先に言っても後に言っても結果は変わりませんでした。

4. 別の質問（金額を計算させる質問）を、逃げ道なしで聞く

範囲を聞く質問では効きましたが、聞き方が変わっても同じように効くとは限りません。今度は「いくらからいくらまで」ではなく、「いくらですか」と金額そのものを計算させる質問で試します。

4回試して、4回とも具体的な金額（175円・350円など）を、根拠つきで計算しました。「分かりません」と答えた回は0回でした。

5. 同じ逃げ道の一文を、金額を計算させる質問に足す

4回とも「分からない」「断定できない」という語は本文に入りましたが、円のついた具体的な数字は4回とも0件になりませんでした。「70%プランなら500円×70%=350円」「35%プランなら175円」のように、目安・計算例という形で数字は残り続けました。範囲を聞く質問では6回中0回まで下がった同じ一文が、この質問では4回中4回のまま動きませんでした。

うまくいかないときの言い直し方

「分からない場合は分からないと答えて」を足したのに、数字が出てくる

効いたのは「計算そのものをするな」と名指しすることでした。指示文5の質問に、目安の金額や計算例そのものを禁止する一文を足します。

4回試して、4回とも「分かりません。」の1文だけで終わり、円のついた数字は1件もありませんでした。「分からない場合は分からないと答えて」だけでは、計算という行為自体は止まりません。計算例そのものを名指しで禁止することで、初めて数字が0件になりました。

なぜ範囲の質問と計算の質問で効き方が違うのか

範囲を聞く質問には、AIにとって「計算のとっかかり」がありません。「いくらからいくらまでか」という問いは、記憶から直接答えを引くしかなく、「分からない場合は分からないと答えて」という一文が、そのまま「答えを引けないなら分からないと言え」として働きます。

一方、金額を計算させる質問には、500円という入力値があります。AIは「価格帯は250円〜1,250円くらい」「率は70%か35%」という、うろ覚えの前提を自分で作り、その前提の上で500円×70%という掛け算を実行できてしまいます。「分からない」という宣言は、前提のほうに対して行われ、掛け算という行為そのものには向きません。この崩れ方は、数字の一部だけを埋めさせると見積もりの漏れが増える記事で見た「材料の数字がどれだけ埋まっているかで、AIが自分で埋める範囲が変わる」現象と同じ根です。だから、止めるときは前提ではなく計算という行為そのものを名指しする必要があります。

応用・次の一手

保存して使い回している「知らない場合は知らないと答えて」があるなら、それが範囲を聞く場面用か、計算をさせる場面用かを一度確かめてください。この記事の実測では、範囲の質問にしか効かない一文を、計算の質問にもそのまま使い回すと、作り話は1件も減りませんでした。保存した指示文が材料を替えても同じに動くか確かめる記事のとおり、一度効いた一文でも、質問の型が変わると効き方まで変わることがあります。

⚠️ この結果は、Kindleロイヤリティという1つの話題・のべ30回での実測です。「範囲の質問には逃げ道が効き、計算の質問には効かない」と一般化はせず、自分が使う場面で一度この記事の④〜⑥のように試してから使ってください。「決まった構成の型で書かせると、無い具体例を作るか」を試したPREP法の実測記事も、型そのものではなく「型が欄を作ると埋めたくなる」という同じ性質を、別の場面で確かめています。

今回の生の返り30回ぶんと判定コードは docs/evidence/safety-line-stops-range-not-calculation.md に全文置いてあります。