これで何ができるか

新しい社内規程、異動先の業務マニュアル、資格試験のテキスト。読んで覚えたいものを前にしたとき、たいていの人はAIに「分かりやすく説明して」と頼みます。返ってくる説明は親切で、読むと理解できた気がします。

ところが翌週、実際にその場面が来ると手が止まります。説明を読んで分かった気になることと、覚えていることは別です。読んでいる間はずっと目の前に答えがあるので、思い出す練習を一度もしていません。

この記事でやるのは逆向きです。手元の資料を渡して、AIに問題を出させる。答えられなかったところが、そのままあなたの穴です。穴は、答えられなかったときにしか見つかりません

実際に架空の社内規程(経費精算規程・全7条)を使って出題させ、返ってきた問題を規程の原文と突き合わせて確かめました。素直に頼むと3種類の漏れが出ます。どれも一言足すだけで止まります。

出題させたときに起きる3つの漏れと、それぞれを止める一言をまとめた図。1つ目は「出ない」=後ろの条から1問も出ないので、「条ごとに最低1問ずつ出して」と足す。2つ目は「無い話」=教材に無い言葉で出題するので、「書いてあることだけから出して」と足す。3つ目は「理由違い」=正解だが根拠が別の条なので、「根拠の一文をそのまま引用して」と足す。3つ目は答えが合っているため、読んでも気づけない。
実際に出題させて出た3つの漏れ。3つ目は答えが合っているので、読んでも気づけません。

前提

プログラミングは要りません。使うのは、ふだん使っているAIのチャット画面だけです。

用意するのは覚えたい資料そのものです。社内規程でも、マニュアルでも、テキストを撮った写真でも構いません。貼れる長さなら貼る、長ければファイルを渡す。それだけです。

⚠️ 会社の資料を扱うときは、そのAIに社外秘を入れてよいかを先に確かめてください。判断に迷う場合は、AIに触らせる範囲を先に決めておくの考え方が使えます。

AIへの頼み方

1. 答えを先に見せさせない

いちばん素直な頼み方から始めます。

この規程から問題を10問作ってください。

これで返ってくるのは、問題と答えが並んだ一覧です。読めば全部書いてあります。目に入ってしまうので、思い出す練習になりません。最初に足すのはこれです。

1問ずつ出してください。私が答えるまで、正解は書かないでください。 私が答えたら、正解と、合っているかどうかを教えてください。

「1問ずつ」と「私が答えるまで」の両方が要ります。片方だけだと、1問目の下に正解が続けて出ます。答えを見ないで思い出す時間が、この方法の中身です

2. 「10問作って」と言わない

数を指定すると、何が起きるか。架空の規程7条に対して「10問作って」と頼み、出てきた10問がどの条から出たかを数えました。

出題された条を、頼み方2種類で比べた図。「10問作って」と頼むと、第1条2問・第2条3問・第3条2問・第4条2問・第5条1問と前半に集まり、第6条(差戻し)と第7条(私的利用)は0問で出題されなかった。「条ごとに最低1問ずつ」と指定すると、第1条から第7条まですべて1問ずつ出題された。落ちた2条は差し戻し後の再申請期限と私的利用が混ざったときの扱いで、実務で一番困る側から落ちている。
同じ教材・同じ相手で、頼み方だけを変えた実測。「10問」は前半に集まります。

第6条と第7条から、1問も出ませんでした。前半の条にどんどん問題が付いて、10問に達したところで止まっています。

まずいのはここです。10問解いても、実務で一番困る2つの条は一度も聞かれていません。差し戻された申請をいつまでに出し直すか(第6条)と、私的な支出が混ざったらどうなるか(第7条)です。解いた本人からは「ひととおりやった」ようにしか見えません。

数ではなく、範囲を指定します。

条ごとに最低1問ずつ出してください。

これで7条すべてから1問ずつ出ました。指定するのは「何問か」ではなく「どこからか」です。資料に条や章の区切りがなければ、「見出しごとに1問ずつ」「ページごとに1問ずつ」でも同じことができます。

⚠️ 区切りが無い資料(ベタ書きの1枚もの)では、この指定が効きません。その場合は先に「この資料を内容で5つに区切って、見出しを付けて」と頼み、区切りを作ってから出題させてください。

3. どこから出したかを、先に言わせない

範囲を指定すると、今度は別のことが起きます。「第6条から出します」と前置きしてから問題が来ます。差し戻しの話だと分かった状態で答えることになるので、難易度が下がります。

どの条から出したかは、私が答えたあとに教えてください。

答え合わせのときには要ります。間違えた問題がどこの話だったかが分かると、読み直す場所がすぐ決まるからです。順番だけ入れ替えます。

4. 資料に無いことを出させない

「もっと難しい応用問題を出して」と頼んだところ、3問返ってきました。規程の原文を検索して確かめると、3問とも規程に存在しない言葉で出題されていました。

  • 「交際費の上限は」——規程に「交際費」という語は1度も出てきません(あるのは「会議費」)
  • 「オンラインシステムの承認フローは何段階か」——申請方法の定めは規程にありません
  • 「差し戻しが2回続いた場合」——第6条にあるのは再申請の期限だけで、回数の定めはありません

もっともらしく見えます。存在しない規則を覚えてしまうのは、知らないままでいるより悪い状態です。これは出典に書いていない数字が混ざるのと同じ形で、資料の外から補われています。

この資料に書いてあることだけから出題してください。 資料に書いていないことは、「資料に記載がない」が正解になる問題にしてください。

後半が効きます。「出すな」だけだと出題の幅が狭まりますが、「記載がないが正解の問題にしろ」だと出題は続いたまま、資料の外を扱う練習になります。実際、直したあとは「会食費用の上限は」→「規程に記載がない。第3条が定めるのは会議費であり、会食・交際費の定めは無い」と返りました。「その資料に何が書いていないか」も、覚えるべきことの一部です

5. 正解の根拠を、原文のまま引用させる

これがいちばん見つけにくい漏れです。「間違えやすいところを狙って」と頼んで返ってきた問題を見てください。

参加者3人の会議で、会議費として1人あたり6,000円、合計18,000円を支出した。部長の事前承認は得ている。領収書は画像の提出でよいか。

答え:よくない。1人あたり6,000円は5,000円以上なので、領収書の原本が必要。

結論は合っています。原本は必要です。ところが理由が間違っています。この規程で領収書の原本が要るかどうかを決めるのは「支出が5,000円以上か」で、支出は18,000円です。「1人あたり5,000円」は会議費の上限を定めた別の条の話で、領収書の判定には関係ありません。

なぜ混ざったかというと、5,000円がこの規程に2回出てくるからです。ひっかけ問題を作らせたら、出題した側がひっかかっていました。

正解の根拠として、資料の該当する一文をそのまま引用してください。

引用させると、こう返りました。

答え:よくない。原本が必要。 根拠:「5,000円以上の支出は、領収書の原本を提出すること。」(この規程では支出額で判定する。本件の支出は18,000円)

引用文は資料を検索すればその場で確かめられます。しかも引用を読むと「支出」が主語だと分かるので、1人あたりの話ではないことが自分で見えます。答えが合っているだけの説明と、根拠が示された説明は別物です。この確かめ方はAIの報告を鵜呑みにしないと同じ考え方です。

6. 間違えたところを、掘り下げさせる

1問間違えて、正解を読んで、次の問題へ。これでは通り過ぎるだけです。間違えた場所は、まだ穴が空いています。

いま間違えた問題と同じ場所から、違う聞き方でもう1問出してください。 2問続けて正解できたら、次の場所へ進んでください。

「違う聞き方で」が要ります。同じ問題をもう一度出されると、さっき読んだ正解を思い出しているだけで、理解したかどうかは分かりません。日数を聞いた問題なら、次は具体的な日付の場面で聞かせる、という形に変わります。

7. 自分の言葉で答えさせる

4択にはしないでください。自分の言葉で答える形にしてください。

4択は楽です。しかし見せられれば分かるのに白紙からは出てこない、という状態が残ります。実際の場面では選択肢は出てきません。

8. 出題済みの場所を、自己申告させる

ここまでに出題した場所を一覧にして、まだ出していない場所も挙げてください。

出題の偏りを、自分で確かめずに拾えます。実際に試したところ、10問の内訳(第1条2問・第2条3問・第3条2問・第4条2問・第5条1問)と、出していない第6条・第7条を正しく挙げました。

⚠️ ただしこの申告を数の根拠にしないでください。AIの自己申告した集計は当てになりません(翻訳のときも、用語の出現回数を実際に間違えました)。ここで使えるのは「まだ出していない場所」という名前の一覧であって、「何問出した」という数のほうではありません。名前なら資料を見て確かめられます。

9. 最後は、場面に当てはめさせる

全部の場所で正解できたら、実際に起きそうな場面の問題に進んでください。 1つの場面に、複数の条が関わるようにしてください。

条文を1つずつ覚えても、実務では複数が同時に効きます。「30日を過ぎた申請を、差し戻された後に出し直す」ような場面は、条をまたいで初めて答えられます。単独では答えられるのに、混ざると答えられないのはよくあることです。

うまくいかないときの言い直し方

答えを聞いていないのに、解説が始まる

「1問ずつ」だけだと起きます。「私が答えるまで」を必ず一緒に入れてください。それでも先走る場合は、問題文の直後で切らせます。

問題文だけを書いて、そこで止めてください。 解説は、私が答えを書いたあとにしてください。

何問か進むと、また答えを先に出すようになる

会話が長くなると、最初の約束が薄れます。そのつど言い直すより、10問ごとに約束を貼り直すほうが早いです。

最初の約束を確認します。1問ずつ、私が答えるまで正解は書かない。 この形で続けてください。

簡単すぎる/難しすぎる

難易度を言葉で頼むと安定しません。間違えた割合で調整させるほうが確実です。

直近5問の私の正答率を見て、4問以上正解なら少し難しく、 2問以下なら少しやさしくしてください。

覚えたはずのことを、また間違える

これは失敗ではなく、この方法がうまくいっている状態です。間違えた問題を捨てずに残させます。

私が間違えた問題を、番号と一緒に控えておいてください。 最後にもう一度、間違えた問題だけを出してください。

⚠️ 次の日も続けるなら、間違えた問題を自分の手元にコピーしておいてください。チャットの記憶をあてにすると、間違えた問題の控えは翌日には消えています

資料が長すぎて、全部を渡せない

分けて渡し、どこまでやったかを自分で管理します

この資料は第3章までです。第3章までの範囲だけから出題してください。

範囲を明示しないと、渡していない部分の話まで作り始めます(前述の「資料に無いこと」と同じ現象です)。

応用・次の一手

人に説明する形にすると、もう一段深くなります。

私が答えたあと、その答えを後輩に説明する言い方に直してください。 私の言葉で足りなかったところを指摘してください。

逆向きも効きます。AIに間違った答えを言わせて、こちらが訂正する形です。

わざと1問だけ、もっともらしい間違いを混ぜて答えてください。 どれが間違いか、私が指摘します。

⚠️ この形は面白いのですが、指摘できなかった間違いは、そのまま正しいものとして覚えてしまいます。必ず最後に「どれが間違いだったか」と正しい内容を出させて、資料の原文と突き合わせてください。

覚える対象そのものを増やしたいときは、調べものを出典つきでやらせると組み合わせられます。調べた結果をそのまま教材にして、この記事の頼み方で出題させる、という流れです。