これで何ができるか
「分からない場合は、分からないと答えてください」——ハルシネーション対策としてよく見る一文です。別の記事で、Kindleロイヤリティの価格帯を材料に試したところ、範囲を聞く質問には効きましたが、金額を計算させる質問には効きませんでした。この記事は、同じ一文を別の話題(クラウドワークスの手数料段階)で試したものです。
- 範囲を聞く質問「クラウドワークスのシステム利用料は、報酬額に応じて段階的に変わります。それぞれの段階の金額の区切りと手数料率を教えてください。」
- 金額を計算させる質問「クラウドワークスで契約金額92,000円の仕事を受けました。手取りはいくらになりますか。」
どちらも資料は一切見せていません。5回・3回という少ない回数での実測です。
結論から言うと、「分からない場合は分からないと答えて」は、この材料では範囲の質問にすら効きませんでした。範囲を聞く質問も、金額を計算させる質問も、同じ一文を足した5回・5回のどちらも、具体的な数字を言い切ったままでした。先行記事の「範囲には効く」という結果は、この材料では成立しません。効いたのは、「数字も目安も一切書くな」と行為そのものを名指しした言い直しだけです。
前提
| かかる時間 | 15分 |
| 費用 | 無料。ブラウザのチャットAIで足ります |
| 必要なもの | 特にありません。手元に資料が無いときの聞き方の話です |
| プログラミング | 不要。この記事の指示文をコピーして貼るだけです |
いちばん確実なのは、こちらが資料を渡すか、自分で公式ページを確認することです。この記事の頼み方は、資料が手元に無い・すぐ用意できないときの次善策にすぎません。
クラウドワークスの手数料の正しい区切りは次のとおりです(副業の手取りを契約額から出す記事で原文を確認済み)。
- 10万円以下の部分:20%
- 10万円超20万円以下の部分:10%
- 20万円を超える部分:5%
AIへの頼み方
1. まず、範囲を聞く質問をそのまま聞く
5回試しました。5回とも、具体的な区切りと率を言い切りました。そのうち3回は真値(10万円以下20%・10万円超20万円以下10%・20万円超5%)どおりでしたが、残り2回は区切りの金額を間違えました。
- 1回は「20万円以下20%・20万円超50万円以下10%・50万円超5%」(区切りを2倍に誤り)
- 1回は「1万円以下20%・1万円超10万円以下10%・10万円超5%」(区切りを10分の1に誤り)
🔑 「分かりません」で逃げた回は0回でした。先行記事(Kindleロイヤリティ)の範囲質問では2回が丸めた言い方に留まりましたが、この材料は5回とも具体的な数字を出し切りました。
2. 同じ質問に「分からない場合は、分からないと答えてください」を足す
5回とも、また具体的な数字を言い切りました。「分かりません」だけで終わった回は0回です。先行記事のKindleロイヤリティでは、同じ一文を足すだけで6回中4回あった言い切りが6回とも0件に下がりました。この材料では、逃げ道の一文の効果は5/5→5/5でまったく変わりませんでした。
5回のうち何回かは「正確な最新の状態を反映していないかもしれません」という留保を自分から添えていました。それでも、その同じ返りの中で区切りと率は言い切っています。留保の言葉と数字の言い切りは、同居していました。
3. 別の質問(金額を計算させる質問)を、逃げ道なしで聞く
範囲を聞く質問では、逃げ道が効きませんでした。今度は「いくらからいくらまで」ではなく、「いくらですか」と金額そのものを計算させる質問で試します。
5回試して、5回とも具体的な金額を計算しました。「分かりません」と答えた回は0回です。
- 4回は正しい手数料率(20%)から73,600円を出しました
- 1回は「2021年頃の改定」という存在しない改定を語りました。区切りを5万円・10万円に誤り、77,800円を出しています。ただし同じ回の中で「旧方式なら73,600円」とも自分から書いていました
4. 同じ逃げ道の一文を、金額を計算させる質問に足す
5回とも「分からない」「断定できない」という語は本文に入りましたが、具体的な金額は5回とも0件になりませんでした。「システム利用料を引くと73,600円」「消費税を加えると71,760円」のように、金額は残り続けました。
ただし、「分からない」の向き先はKindleロイヤリティの記事より詳しく分かれました。5回のうち4回は、システム利用料を引いた基本額そのものには言い切っています。「分かりません」が向いたのは、「正確な料率」や「税込みの最終手取り」という周辺の前提のほうでした。
うまくいかないときの言い直し方
範囲の質問なのに、逃げ道の一文だけでは数字が出てくる
効いたのは「数字も目安も一切書くな」と名指しすることでした。指示文2の質問に、目安・推測の数字そのものを禁止する一文を足します。
3回試して、3回とも「分かりません」の1文だけで終わり、円や%のついた数字は1件もありませんでした。「分からない場合は分からないと答えて」だけでは足りず、目安・推測という逃げ道そのものを名指しで禁止することで、初めて数字が0件になりました。
金額を計算させる質問でも、同じ強い言い直しで止まるか
範囲の質問と同じ形が、計算の質問にも効くかを確かめます。
3回試して、3回とも「分かりません」の1文だけで終わりました。指示文4では5回中5回残っていた金額の言い切りが、「目安の金額も計算例も一切書かずに」という一文を足すだけで0件になりました。
なぜ範囲の質問でも効かなかったのか
先行記事(Kindleロイヤリティ)はこう説明していました。「範囲には計算のとっかかりが無いから、逃げ道の宣言がそのまま効く」。この材料では、その説明自体が崩れています。
ありそうな理由は、AIがクラウドワークスの手数料段階について、Kindleロイヤリティの価格帯より自信のある記憶を持っていたことです。指示文1で5回とも具体的な数字を即答していました。この話題は「思い出せない」状態ではなく「思い出せている」状態だったと考えられます。
「分からない場合は分からないと答えて」という宣言は、AIが自分で「分からない」と感じているときにしか働きません。自信を持って覚えている数字には、逃げ道を用意しても向かいません(正しいかどうかは別の話です)。この崩れ方は、保存した指示文が材料を替えても同じに動くか確かめる記事にある教訓と同じ根です。一度効いた言い方でも、材料が変わると効かなくなることがあります。
応用・次の一手
保存して使い回している「分からない場合は分からないと答えて」があるなら、範囲を聞く場面でも一度は効き目を確かめてください。この記事の実測では、先行記事で範囲の質問に効いたはずの一文が、話題を変えただけで1回も効かなくなりました。「範囲の質問には効く」と覚えて使い回すと、この材料のようにまったく効かない場面に当たります。
どちらの質問にも共通して効いたのは、「数字も目安も一切書くな」という、行為そのものを名指しした言い直しです。「分からない場合は分からないと答えて」だけで止めようとしないでください。範囲を聞くときも、計算をさせるときも、はじめから「目安や推測の数字も書かないでください」まで足しておくと安定します。
⚠️ この結果は、クラウドワークスの手数料段階という1つの話題・のべ26回での実測です。「逃げ道の一文は範囲にも計算にも効かない」と一般化はせず、自分が使う場面で一度試してから使ってください。同じ一文の効き方が場面によって変わることは、「AIには敬語で丁寧に頼め」を実際に試した記事や「だいたいでいい」と曖昧に聞いた記事も、別の角度から確かめています。
今回の生の返り26回ぶんと判定コードは docs/evidence/no-line-stops-range-either.md に全文置いてあります。