これで何ができるか

「AIには役割を与えよ(あなたは◯◯の専門家です、と書く)」——検定教材や仕事術の本で、いちばんよく見かける定説です。このサイトの記事にも、これまで役割を与えた指示文は1つも載せていませんでした

そこで実際に試しました。架空の会社の経費精算規程(7条)と、6件の問い合わせを用意し、①役割なし ②「あなたは担当者です」 ③「あなたは20年の専門家です」の3版に加えて、念押しの一文を外した版・引用を求めた版も合わせて6版×各2回=12回、合計72問を通しました。

先に結果を書きます。

  • 🔑 答えられる3問(宿泊費・備品の承認・在宅勤務手当)の正答も、規程に無い3問を「記載がありません」と言い切る検出も、72問中72問で満点でした。役割の有無で1問も動きませんでした
  • 記載の無い問いに、実在する条文番号をでっちあげて答えた回数は0件(12回×3問=36問すべてで確認)
  • 一字一句そのままの引用を求めた4回(12引用)は、12引用とも規程の原文と完全一致。作り話の引用はありませんでした
  • 🚨 揺れたのは、聞いていないのに条文名を書き添えるという体裁だけでした。「20年の専門家です」を付けた回は2回とも書き添えましたが、同じ役割に「一字一句引用して」を足した回は2回とも書き添えず、役割だけで再現する効果ではありませんでした
役割を付ける・付けないの6版(役割なし、あなたは担当者です、20年の専門家です、念押しの一文を外す、逐語引用を求める、専門家+逐語引用)について、各2回・計12回72問を実測した結果の表。正答(問1〜3の条文番号一致)と検出(問4〜6の「記載がない」明言)はどの版も6/6で満点、12回全体では72問中72問が正答・検出とも満点だった。捏造引用(記載のない問に実在の条文番号を当てた数)も0件。聞いていないのに条文名を書き添えた回数だけが版によって違い、役割なし・担当者・念押しなし・専門家+逐語引用の4版は2回とも0回、逐語引用を求めた版は2回中1回、20年の専門家を付けた版だけ2回とも書き添えた。ただし同じ役割に逐語引用を重ねた版では0回に戻っており、一貫した効果とは言えない。
正答と検出はどの版も満点。動いたのは「条文名の書き添え」という体裁だけで、しかも一貫していません。

この記事は「役割を与えるな」とは言いません。測ったのはこの1つの材料・この12回だけです。ただ、少なくともこの実測では、役割を付けても答えの正しさは1つも変わりませんでした

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 社内規程のような「根拠が条文単位で決まる資料」
プログラミング 不要。指示文をコピーして貼るだけです

この記事でやるのは、規程そのものを検品する作業ではありません。規程を守って答えているかを、AIに聞いて確かめる場面の話です。実際の社内規程や契約書で試すときは、社外秘の情報を貼らないよう気をつけてください。

AIへの頼み方

材料は架空の「経費精算規程」(7条)と、6件の問い合わせです。3件(宿泊費・備品購入・在宅勤務手当)は規程に答えがあり、残り3件(資格試験の受験料・駐輪場代・クリーニング代)は規程のどこにも書かれていません。答えが実在するか・実在しないかを先に自分で決めてから試すのがポイントです(決めずに試すと、AIの答えが合っているかどうか自分にも判定できません)。

1. まず役割を付けずに聞く

以下は架空の会社「株式会社サンライズ物流」の経費精算規程です。この規程だけを根拠にして、下の6件の問い合わせに1件ずつ回答してください。 規程に書かれていないことを聞かれた場合は、想像で答えず「規程に記載がありません」とはっきり書いてください。 回答は問い合わせ1件ごとに、次の2点をセットで書いてください。 ①回答内容 ②根拠にした条文番号(記載が無い場合は「該当条文なし」と書く) 【経費精算規程】 【株式会社サンライズ物流 経費精算規程】 第1条(目的) 本規程は、従業員が業務上支出した費用の精算方法を定める。 第2条(出張旅費) 出張時の交通費は実費を精算する。宿泊費は1泊あたり8,000円を上限とし、上限を超える分は自己負担とする。 第3条(会議費) 社外での打ち合わせにともなう飲食費は、1人あたり3,000円までを会社負担とする。 第4条(備品購入) 5,000円未満の業務用品は、購入後に申請すればよい。5,000円以上の業務用品は、購入前に所属長の承認を得ること。 第5条(在宅勤務手当) 在宅勤務を行う従業員には、月額3,000円を給与とあわせて支給する。 第6条(残業時の食事) 22時以降まで残業した場合、1食あたり1,000円までの食事代を実費精算する。 第7条(申請期限) 費用が発生した日から30日以内に申請すること。期限を過ぎた申請は原則として受け付けない。 【問い合わせ】 1. 来月、大阪へ出張する予定です。宿泊費はいくらまで会社負担になりますか。 2. 5,000円ちょうどのモニターを買いたいのですが、購入前に承認は必要ですか。 3. 在宅勤務手当は月にいくらもらえますか。 4. 業務に関連する資格試験の受験料は、経費として申請できますか。 5. 電車通勤ですが、駅から会社までのあいだの駐輪場代は申請できますか。 6. 出張中にスーツをクリーニングに出しました。クリーニング代は経費になりますか。

2回とも、答えられる3問は条文番号つきで正しく、答えられない3問は「該当条文なし」と明言しました。役割を付けていないのに、この時点で満点です。

「規程に書かれていないことは、想像で答えず『記載がありません』と書いてください」の一文が効いています。これが無い版がどうなるかは§4で試します。

2. 「あなたは担当者です」を付けて聞く

役割を1行足すだけです。本文はまったく同じにします。

あなたは経理部の担当者です。 以下は架空の会社「株式会社サンライズ物流」の経費精算規程です。この規程だけを根拠にして、下の6件の問い合わせに1件ずつ回答してください。 規程に書かれていないことを聞かれた場合は、想像で答えず「規程に記載がありません」とはっきり書いてください。 回答は問い合わせ1件ごとに、次の2点をセットで書いてください。 ①回答内容 ②根拠にした条文番号(記載が無い場合は「該当条文なし」と書く) 【経費精算規程】 【株式会社サンライズ物流 経費精算規程】 第1条(目的) 本規程は、従業員が業務上支出した費用の精算方法を定める。 第2条(出張旅費) 出張時の交通費は実費を精算する。宿泊費は1泊あたり8,000円を上限とし、上限を超える分は自己負担とする。 第3条(会議費) 社外での打ち合わせにともなう飲食費は、1人あたり3,000円までを会社負担とする。 第4条(備品購入) 5,000円未満の業務用品は、購入後に申請すればよい。5,000円以上の業務用品は、購入前に所属長の承認を得ること。 第5条(在宅勤務手当) 在宅勤務を行う従業員には、月額3,000円を給与とあわせて支給する。 第6条(残業時の食事) 22時以降まで残業した場合、1食あたり1,000円までの食事代を実費精算する。 第7条(申請期限) 費用が発生した日から30日以内に申請すること。期限を過ぎた申請は原則として受け付けない。 【問い合わせ】 1. 来月、大阪へ出張する予定です。宿泊費はいくらまで会社負担になりますか。 2. 5,000円ちょうどのモニターを買いたいのですが、購入前に承認は必要ですか。 3. 在宅勤務手当は月にいくらもらえますか。 4. 業務に関連する資格試験の受験料は、経費として申請できますか。 5. 電車通勤ですが、駅から会社までのあいだの駐輪場代は申請できますか。 6. 出張中にスーツをクリーニングに出しました。クリーニング代は経費になりますか。

2回とも§1と同じ結果でした。正答・検出とも満点で、役割を付けたことによる差は数字としては出ませんでした

3. 「20年の専門家です」を付けて聞く

役割の重みを増やしてみます。

あなたは経理・財務の実務に20年携わった専門家です。 以下は架空の会社「株式会社サンライズ物流」の経費精算規程です。この規程だけを根拠にして、下の6件の問い合わせに1件ずつ回答してください。 規程に書かれていないことを聞かれた場合は、想像で答えず「規程に記載がありません」とはっきり書いてください。 回答は問い合わせ1件ごとに、次の2点をセットで書いてください。 ①回答内容 ②根拠にした条文番号(記載が無い場合は「該当条文なし」と書く) 【経費精算規程】 【株式会社サンライズ物流 経費精算規程】 第1条(目的) 本規程は、従業員が業務上支出した費用の精算方法を定める。 第2条(出張旅費) 出張時の交通費は実費を精算する。宿泊費は1泊あたり8,000円を上限とし、上限を超える分は自己負担とする。 第3条(会議費) 社外での打ち合わせにともなう飲食費は、1人あたり3,000円までを会社負担とする。 第4条(備品購入) 5,000円未満の業務用品は、購入後に申請すればよい。5,000円以上の業務用品は、購入前に所属長の承認を得ること。 第5条(在宅勤務手当) 在宅勤務を行う従業員には、月額3,000円を給与とあわせて支給する。 第6条(残業時の食事) 22時以降まで残業した場合、1食あたり1,000円までの食事代を実費精算する。 第7条(申請期限) 費用が発生した日から30日以内に申請すること。期限を過ぎた申請は原則として受け付けない。 【問い合わせ】 1. 来月、大阪へ出張する予定です。宿泊費はいくらまで会社負担になりますか。 2. 5,000円ちょうどのモニターを買いたいのですが、購入前に承認は必要ですか。 3. 在宅勤務手当は月にいくらもらえますか。 4. 業務に関連する資格試験の受験料は、経費として申請できますか。 5. 電車通勤ですが、駅から会社までのあいだの駐輪場代は申請できますか。 6. 出張中にスーツをクリーニングに出しました。クリーニング代は経費になりますか。

正答・検出は、やはり2回とも満点でした。ただし2回とも、頼んでいないのに「第2条(出張旅費)」のように条文の見出し名を括弧書きで添えていました。§1・§2の4回では一度も出なかった書き方です。

🔑 ここだけ見ると「専門家役は体裁を整える」と言いたくなりますが、話はそれで終わりません。§6で同じ役割にもう一手を足すと、この書き添えは消えます。

4. 念押しの一文を外すと、崩れるか試す

§1の「規程に書かれていないことは、想像で答えず『記載がありません』と書いてください」を抜いた版です。振るのはこの一文の有無だけにします。

以下は架空の会社「株式会社サンライズ物流」の経費精算規程です。この規程だけを根拠にして、下の6件の問い合わせに1件ずつ回答してください。 回答は問い合わせ1件ごとに、次の2点をセットで書いてください。 ①回答内容 ②根拠にした条文番号 【経費精算規程】 【株式会社サンライズ物流 経費精算規程】 第1条(目的) 本規程は、従業員が業務上支出した費用の精算方法を定める。 第2条(出張旅費) 出張時の交通費は実費を精算する。宿泊費は1泊あたり8,000円を上限とし、上限を超える分は自己負担とする。 第3条(会議費) 社外での打ち合わせにともなう飲食費は、1人あたり3,000円までを会社負担とする。 第4条(備品購入) 5,000円未満の業務用品は、購入後に申請すればよい。5,000円以上の業務用品は、購入前に所属長の承認を得ること。 第5条(在宅勤務手当) 在宅勤務を行う従業員には、月額3,000円を給与とあわせて支給する。 第6条(残業時の食事) 22時以降まで残業した場合、1食あたり1,000円までの食事代を実費精算する。 第7条(申請期限) 費用が発生した日から30日以内に申請すること。期限を過ぎた申請は原則として受け付けない。 【問い合わせ】 1. 来月、大阪へ出張する予定です。宿泊費はいくらまで会社負担になりますか。 2. 5,000円ちょうどのモニターを買いたいのですが、購入前に承認は必要ですか。 3. 在宅勤務手当は月にいくらもらえますか。 4. 業務に関連する資格試験の受験料は、経費として申請できますか。 5. 電車通勤ですが、駅から会社までのあいだの駐輪場代は申請できますか。 6. 出張中にスーツをクリーニングに出しました。クリーニング代は経費になりますか。

2回とも崩れませんでした。念押しの一文が無くても、規程に無い3問はきちんと「記載がない」「規定がない」と答えました。⚠️ ただしこれは2回だけの結果です。念押しの一文を削ってよいという意味ではありません。§1の一文は、書いておいて損はしません。

5. 根拠の条文を、一字一句そのまま引用させる

「該当条文なし」と自己申告されても、それが本当か確かめられません。引用させて機械で照合します。

以下は架空の会社「株式会社サンライズ物流」の経費精算規程です。この規程だけを根拠にして、下の6件の問い合わせに1件ずつ回答してください。 規程に書かれていないことを聞かれた場合は、想像で答えず「規程に記載がありません」とはっきり書いてください。 回答は問い合わせ1件ごとに、次の3点をセットで書いてください。 ①回答内容 ②根拠にした条文番号(記載が無い場合は「該当条文なし」と書く) ③根拠にした条文の文章を、一字一句そのまま引用する(記載が無い場合は③は不要) 【経費精算規程】 【株式会社サンライズ物流 経費精算規程】 第1条(目的) 本規程は、従業員が業務上支出した費用の精算方法を定める。 第2条(出張旅費) 出張時の交通費は実費を精算する。宿泊費は1泊あたり8,000円を上限とし、上限を超える分は自己負担とする。 第3条(会議費) 社外での打ち合わせにともなう飲食費は、1人あたり3,000円までを会社負担とする。 第4条(備品購入) 5,000円未満の業務用品は、購入後に申請すればよい。5,000円以上の業務用品は、購入前に所属長の承認を得ること。 第5条(在宅勤務手当) 在宅勤務を行う従業員には、月額3,000円を給与とあわせて支給する。 第6条(残業時の食事) 22時以降まで残業した場合、1食あたり1,000円までの食事代を実費精算する。 第7条(申請期限) 費用が発生した日から30日以内に申請すること。期限を過ぎた申請は原則として受け付けない。 【問い合わせ】 1. 来月、大阪へ出張する予定です。宿泊費はいくらまで会社負担になりますか。 2. 5,000円ちょうどのモニターを買いたいのですが、購入前に承認は必要ですか。 3. 在宅勤務手当は月にいくらもらえますか。 4. 業務に関連する資格試験の受験料は、経費として申請できますか。 5. 電車通勤ですが、駅から会社までのあいだの駐輪場代は申請できますか。 6. 出張中にスーツをクリーニングに出しました。クリーニング代は経費になりますか。

2回で合計6件の引用が返り、6件とも規程の原文と一字一句完全一致でした(Pythonの文字列一致で確認)。1回だけ、条文名の書き添えも出ました。

6. 「専門家」と「逐語引用」を両方頼むと、書き添えは消える

§3の役割と§5の引用要求を両方乗せます。振る変数はもう増やさず、単純に足すだけです。

あなたは経理・財務の実務に20年携わった専門家です。 以下は架空の会社「株式会社サンライズ物流」の経費精算規程です。この規程だけを根拠にして、下の6件の問い合わせに1件ずつ回答してください。 規程に書かれていないことを聞かれた場合は、想像で答えず「規程に記載がありません」とはっきり書いてください。 回答は問い合わせ1件ごとに、次の3点をセットで書いてください。 ①回答内容 ②根拠にした条文番号(記載が無い場合は「該当条文なし」と書く) ③根拠にした条文の文章を、一字一句そのまま引用する(記載が無い場合は③は不要) 【経費精算規程】 【株式会社サンライズ物流 経費精算規程】 第1条(目的) 本規程は、従業員が業務上支出した費用の精算方法を定める。 第2条(出張旅費) 出張時の交通費は実費を精算する。宿泊費は1泊あたり8,000円を上限とし、上限を超える分は自己負担とする。 第3条(会議費) 社外での打ち合わせにともなう飲食費は、1人あたり3,000円までを会社負担とする。 第4条(備品購入) 5,000円未満の業務用品は、購入後に申請すればよい。5,000円以上の業務用品は、購入前に所属長の承認を得ること。 第5条(在宅勤務手当) 在宅勤務を行う従業員には、月額3,000円を給与とあわせて支給する。 第6条(残業時の食事) 22時以降まで残業した場合、1食あたり1,000円までの食事代を実費精算する。 第7条(申請期限) 費用が発生した日から30日以内に申請すること。期限を過ぎた申請は原則として受け付けない。 【問い合わせ】 1. 来月、大阪へ出張する予定です。宿泊費はいくらまで会社負担になりますか。 2. 5,000円ちょうどのモニターを買いたいのですが、購入前に承認は必要ですか。 3. 在宅勤務手当は月にいくらもらえますか。 4. 業務に関連する資格試験の受験料は、経費として申請できますか。 5. 電車通勤ですが、駅から会社までのあいだの駐輪場代は申請できますか。 6. 出張中にスーツをクリーニングに出しました。クリーニング代は経費になりますか。

正答・検出は変わらず満点、引用6件も全部一致でした。🔑 ところが条文名の書き添えは2回とも出ませんでした。§3では2回とも出た書き方が、同じ役割のまま消えています。

つまり「専門家」役だけが体裁を変えるとは言い切れません。12回のうち書き添えが出たのは3回(§3の2回・§5の1回)で、役割の有無ときれいに対応していません。この規模の実測では「揺れることがある」までしか言えず、狙って再現できる効果としては書けません。

うまくいかないときの言い直し方

「専門家として振る舞ってください」と役割を強めても変わらない

強めても、規程の中身は増えません。中身を増やしたいなら、役割ではなく資料そのものを増やす必要があります。

いまの規程には、資格試験の受験料・駐輪場代・クリーニング代についての定めがありませんでした。 これらを規程に追加するなら、どんな条文が必要か、たたき台を考えてください。私が最終的に内容を決めます。

これは「規程が答えを持っているか確かめる」作業とは別の、規程を作る作業です。混ぜないでください。

役割を与えたら、口調だけが変わった

中身ではなく話し方が変わることはあります。読み手に合わせたいときは、話し手ではなく読み手を名指しするほうが効きます。実測は人に見せる前の下書きは、AIに直させずに「どこが伝わらないか」だけ言わせるにあります。

そもそも自分の頼み方が足りているか分からない

役割を足す前に、頼み方自体に抜けがないかをAIに聞き返させる手があります。

いまの私の頼み方(指示文)を見て、曖昧なところや、あなたが自分で決めてしまいそうな部分があれば、答える前に質問してください。

この頼み方の実測はAIに聞く前に、足りない情報を聞き返してもらうにあります。⚠️ あちらの実測では、この頼み方によってAIが自分で決める設定が増えることも分かっています。

応用・次の一手

この記事で本当に効いたのは、役割ではなく2つの一文です。「書かれていないことは想像で答えず、記載がないと書いてください」と、「根拠の条文を一字一句そのまま引用してください」。役割を付けるかどうかで悩む前に、まずこの2つを指示文に入れてください。

これから複数の規程・マニュアルについて、同じ形式で質問と回答を繰り返します。 毎回この2つを守ってください。 ・書かれていないことは想像で答えず、「記載がありません」とはっきり書く ・根拠にした条文や項目の文章を、一字一句そのまま引用する まず1つ目の資料を貼るので、その形式で答えてください。

返ってきた答えが本当に正しいかどうかは、この記事の実測のように自分で真値を先に決めて機械で照合してください。AIの自己申告(「記載がありません」という言葉そのもの)を信じるだけでは、引用が捏造でないかまでは分かりません。確認のしかたの基本はAIに「たぶん動きます」と言わせないための頼み方にまとめてあります。

今回の数字はすべて架空データでの実測(6版×各2回=12回・72問)です。生の返りと判定コードは docs/evidence/role-prompt-same-answer.md に全文置いてあります。