経費規程の判定を自動化する——「理由も」と足すと、24件中2件で答えが割れた

これで何ができるか

経費規程のように、除外条件まで条文で明記されたルールに照らした判定作業を、AIに任せて自動化できます。プログラミングは要りません。

「AIには同じ質問を3回して、答えがそろわなければ疑え」という定説があります。これを架空の経費規程7条・申請一覧24件×2本で実際に試しました。新規の会話で3回ずつ、材料を変えて2本、さらに誤読を狙った罠つきの8件も加えた、のべ168件の判定で、3回の答えが割れた項目は1件もありませんでした。

ところが、指示文に「理由も一言添えて」と足しただけで、同じ規程・同じ申請24件でも、3回のうち2回に別々の誤りが混ざり、答えが一致しなくなりました。3回そろえば安全とは限らない場面は、判定そのものではなく、頼み方を変えたときに現れました。

前提

• 判定の基準になる規程が、除外条件・境界の数字まで文書に明記されていること。「常識で分かるはず」の部分が抜けていると、この記事の結果は当てはまりません
• 対象の申請・案件が、一覧の形でまとまっていること

AIへの頼み方

1. まず、そのまま3回聞き比べる

架空の経費規程7条を用意しました（交通費・宿泊費・接待交際費・消耗品費・慶弔費・通信費・研修費）。それぞれの条文には、上限の金額や「深夜22時以降」のような境界、「社員のみが参加する会食は対象外」のような除外条件を書き込んであります。

申請一覧には、素直に1条へ当たるもの10件、隣接条・除外条項と紛らわしいもの6件（社内の忘年会費用、資格の更新費用、上限を超えた宿泊費など）、規程のどこにも無いもの8件（駐車違反の反則金、同僚への誕生日プレゼント代など）を混ぜてあります。これを内容の異なる2本の材料（各24件）で用意し、それぞれ新規の会話で3回ずつ送りました。

結果は、材料A・Bともに3回とも一字一句同じ回答で、24件とも真値と一致しました。48項目×3回＝のべ144件の判定のうち、3回の答えが割れた項目、真値と食い違った項目は、どちらも0件でした。

2. わざと誤読しやすい罠を仕込んでも試す

素直な申請だけでは定説が崩れなかったので、あえて誤読を狙った申請8件も別に用意しました。「22時以降なら、電車が使えてもタクシー代は対象」というOR条件の読み違い、「配偶者の父」を血族と混同して対象外にしてしまう読み違い、「送別会」という語だけで機械的に除外してしまう読み違いなどです。

この8件も、新規の会話で3回とも一字一句同じ回答で、8件とも真値と一致しました。素直な申請だけでなく、狙って仕込んだ紛らわしい申請でも、そのまま聞く分には3回の答えは割れませんでした。

3. 「理由も添えて」と頼み方を変えると、答えが割れた

判定の結果だけでなく、理由も一言添えさせれば、あとで見直すときに役立つはず——そう考えて、指示文の末尾に一文だけ足しました。判定してほしい中身は1と同じ、材料も同じ経費規程・材料Bです。

新規の会話で3回送ったところ、1回目は23/24、2回目は24/24、3回目は23/24でした。同じ指示文・同じ材料なのに、3回の答えが完全には一致しませんでした。

崩れた2件は、回によって別物でした。1回目は「業務用の外付けハードディスク購入 4,600円」（真値＝第4条）を、「記載なし(5000円未満だが事前申請なし記述)」と誤答しました。規程の第4条は「5,000円未満のものは購入後の申請で精算する」——つまり5,000円未満はそもそも事前申請が要りません。理由を書かせたことで、AIが規程に無い「事前申請の記述が無いから対象外」という条件を自分で持ち込んでしまったように見えます。3回目は逆に、「取引先担当者への中元(お中元)代」（真値＝記載なし。第3条は「会食・接待」だけが対象で、贈答は対象外）を、「第3条(取引先への中元・交際費)」と誤答しました。

崩れた2件は、それぞれ2回は正しく判定できていたので、3回の多数決を取っていれば両方とも正しい判定になっていたはずです。1（理由を求めない指示文）では材料Bを含めて144件が3回とも完全一致していたので、この崩れは材料の難しさではなく、「理由も添えて」という一文を足したこと自体が引き金になっています。

うまくいかないときの言い直し方

理由を書かせたら、3回の答えが割れた

理由を書かせたい動機（あとで見直しやすくする）自体は自然です。この記事の材料では、理由を求めると判定の正しさそのものが不安定になりました。言い直し方は2つあります。

1つ目は、理由を求めず、結果だけを3回聞き比べて多数決にする。1の指示文（理由なし）に戻し、3回のうち2回以上が一致した条文を採用します。この記事の実測では、理由なし版は3回とも完全一致だったので、多数決を取る手間そのものが要りませんでした。

2つ目は、判定の前に「除外条件・例外を先に書き出させる」形に変えます。理由をあとから一言で説明させるのではなく、判断の材料になる例外を先に言語化させる頼み方です。

これを2回試したところ、判定は2回とも8/8で正解でした。それだけでなく、書き出させた例外の一覧に、まさに罠の核心が言語化されていました。1回目は「タクシー容認の条件は『22時以降』または『他に利用できる交通手段がない場合』のいずれか一方を満たせばよい（両方は不要）」、2回目は「例外条件は2つあり『どちらか一方』を満たせばよい（AND条件ではない）：①深夜22時以降の移動、②時刻に関係なく『他に利用できる交通手段がない場合』」と、2回とも文言は違いますが同じ論点（OR条件であること）を自分で言い当てていました。第5条についても「一親等には血族だけでなく、一般的な慶弔規程の運用では配偶者の父母（姻族一親等）も含む」と、狙った罠をそのまま説明していました。

自信度の自己申告は、判定の正しさの目印にならない

「自信が無い項目には印を付けて」と頼めば、そこだけ人が見直せば済むのでは——という考え方も試しました。

2回とも判定そのものは8/8で正解でしたが、「要確認」を付けた項目は回ごとに違いました。1回目は「配偶者の父の死亡」「取引先が混じる送別会」「ホテルのキャンセル料」の3件、2回目は「配偶者の父の死亡」「会社貸与端末の私用分」「ホテルのキャンセル料」の3件で、共通していたのは2件だけでした。自信が無いとAIが申告した「要確認」の有無と、正誤は無関係でした。付いた項目も付かなかった項目も、8件とも正解だったからです。自信度の自己申告は、この材料では「どこを人が見直すべきか」の当てにはなりませんでした。

応用・次の一手

自動実行にするなら、判定結果の一覧と一緒に、合計件数のような1行サマリも出させておくと、あとから目視で異常に気づきやすくなります。

1回だけの結果ですが、判定は24件とも正解、末尾の「『記載なし』と判定した件数: 13件」も真値の13件と一致しました。この1行を定期実行が本当に動いたかを、材料の件数で確かめるの仕組みに組み込めば、いつもと大きく違う件数が出たときだけ人が見る運用にできます。

同じ処理を複数回走らせて突き合わせる考え方そのものは、出す形を毎回そろえるや毎朝の出来ばえを3件で見張るにもありますが、あちらは出力の形が安定しているかを見るもので、この記事は出力の中身の正誤を、真値を持ったうえで機械照合している点が異なります。指示文に一文足したせいで狙っていない側が動いた例としては「迷ったら重要ではない側に」の一文は、別の判定まで倒すもあります。あちらは足した一文が書いていない別の判定へ漏れる話で、この記事は足した一文が同じ判定の答えのそろい方を崩した話です。3回そろっても真値までは分からない場面（外部の一次情報と照らし合わせる必要がある場面）は提出前に、事実を裏取りするを参照してください。

すでに規程・チェックリストへの該当判定をAIにやらせているなら、まず「理由も」「根拠も」という一文が指示文に入っていないかを確認してください。入っている場合は、多数決を取るか、この記事の2番目の言い直し方（先に例外条件を書き出させる）に変える価値があります。

📌 この記事の実測は、架空の経費規程7条に照らした申請一覧のべ168件（1・2節、材料2本＋罠つき8件を新規の会話で3回ずつ）に加えて、理由を添えさせる版24件×3回（3節）、除外条件を先に書き出させる版8件×2回、自信度の自己申告版8件×2回、集計行を足す版24件×1回です。判定はすべて機械照合（正規表現でIDと条文番号を抜き出し、真値の辞書と突き合わせ）で、生の回答は docs/evidence/ask-for-reasons-breaks-the-match.md に全文置いてあります。⚠️ 実測に使ったAIは、このセッション内の新規サブエージェント（Agentツール）で、呼び出しごとに独立した会話です。事前知識ゼロとは言い切れないため、素のAIがどう返すかの一般化はせず、機械で確認できた件数だけを根拠にしています。