これで何ができるか
記録から言えることだけ取り出すでは、通った提案と通らなかった提案の差を聞いた4回とも、AIは提案文の字数を1件も数えないまま「長さの差ではありません」と否定しました。数えれば分かることを、数えずに否定していたのです。
この否定のクセは、字数だけの話なのか、それとも量的な要因なら何でも起きるのか。この記事はそこを確かめます。同じ形の応募記録12件(採用3・不採用9)を新しく2本用意し、判別要因を字数から差し替えました。1本目は「募集開始から送信までの日数」(早いほど採用)、2本目は「入札額の相場に対する比率」(低いほど採用)。字数はどちらも採否と無関係になるよう仕込んであります。
結果は、予想と違いました。10回とも、真の判別要因を正しく検出し、しかも根拠の数値を1件ずつ書き出していました。「数えずに否定する」というクセは、10回を通じて1回も起きませんでした。
前提
| かかる時間 | 25分 |
| 費用 | 無料。ブラウザのチャットAIで足ります |
| 必要なもの | 応募の記録(案件名・日付・金額など数値の項目・結果)。10件くらいから |
| プログラミング | 不要。記録を貼って、指示文をコピーするだけです |
記録から言えることだけ取り出すを先に読んでおくと、この記事がどこから続いているかが分かります。あちらは字数という1つの要因だけで確かめた記事で、この記事はその先です。
AIへの頼み方
1. まず、そのまま聞く(材料2本×各5回=10回。10回とも検出)
日数が要因の記録では、5回とも「送信までの経過日数」で採用3件(0〜1日)と不採用9件(2〜7日)がきれいに分かれることを、案件番号つきの表で示しました。価格比が要因の記録でも、5回とも入札額を相場で割った比率で並べ替え、採用3件(70〜78%)と不採用9件(82〜105%)の境目を指摘しました。字数への言及は10回のうち0回でした——聞かれていないものには触れず、聞かれた「差」の中で本当に効いている数値のほうを、10回とも自分で見つけています。
2. 記録の写しだけを作らせる(数えさせて、判断はさせない)
募集開始日・送信日・結果は12行とも真値と完全一致しました。ところが提案文の字数だけは、12件中6件が真値とずれました。材料にそのまま書いてある日付や金額は正確に転記されますが、文字数のように「数え上げないと出ない値」は、指示しても誤差が出ることがあります。字数を照合に使うなら、この指示文だけに頼らず、桁数を機械で数え直してください。
3. 「言えること」と「言えないこと」に分ける
2本とも、「言えること」欄に真の判別要因(日数・価格比)を案件番号つきで正確に書きました。「言えないこと」欄では「相関していることは数えられても、それが原因かどうかは分からない」と、相関と因果を自分から区別しています。件数が少ないという留保も、10回中2回は「価格と提案文の質が同じ順に並んでいて交絡している」という形まで踏み込んでいました。
4. 気になる要因だけを名指しで聞く——ここがいちばん効きます
記録から言えることだけ取り出すとまったく同じ字数という要因を、今度は名指しで聞きました。すると2回とも、12件の字数を表にしてから「採用3件の平均は約54字、不採用9件の平均は約53字とほぼ同じ」「範囲がほぼ完全に重なっている」と、数えたうえで否定しました。
「通った提案と通らなかった提案の差を出してください」という開いた質問では、字数は1回も数えられませんでした。同じ字数を「字数は関係していますか」と名指しで聞くと、2回とも数えました。否定される項目があるなら、開いた質問のままにせず、その項目だけを名指しして聞き直してください。
5. 保存版——毎回同じ形で点検する
見出し4つは2回ともそろいました。価格比が要因の記録では、この形でも境界の指摘まで残りました。ところが日数が要因の記録では、「送信日が募集開始日と同日だったのはJ-04のみ」のような断片的な事実だけが並び、指示文1・3・4で出ていた「経過日数で採用と不採用が完全に分かれる」という一番大事な比較が抜け落ちました。「傾向・原因は書くな」という縛りが、事実どうしを比べる作業まで萎縮させることがあります。保存版を作ったら、縛りを外した聞き方と1回は突き合わせてください。
うまくいかないときの言い直し方
「関係ありません」で終わってしまった
指示文4のとおりです。開いた質問のまま納得せず、否定された項目名をそのまま名指しして聞き直してください。「◯◯は関係していますか」の1文で、数えたうえでの答えに変わります。
保存版なのに、大事な比較が抜けた
指示文5で実際に起きました。「傾向・原因を書くな」の縛りを外し、指示文1の素朴な聞き方も一度は試して見比べてください。縛りが強いフォーマットほど、事実の横断比較を削ってしまうことがあります。
字数の集計を照合に使いたい
指示文2のとおり、字数は12件中6件がずれました。日付や金額のように材料にそのまま書いてある数字と違い、文字数は数え上げが必要な値です。使うなら、ExcelのLEN関数など機械で数え直してから照合してください。AIが自分で字数を数え損なうことは、条件を積んでも崩れたのは見出しの字数だけでも起きています。あちらでは、見出しに自分で付けた記号を字数に数えないまま「条件は全部満たした」と自己申告していました。
応用・次の一手
対照——素直に「何を変えればいいか」を聞くとどうなるか
改善策を求める聞き方でも、送信までの日数を中心に据えた提案が返り、「募集を見つけたらその日か翌日中に送る」を最優先に挙げました。字数については、いちばん短い採用(J-01)といちばん長い不採用(J-05)を名指しして「丁寧さや実績の書き方で説明がつくなら、この対比は逆になっているはず」と、具体例で否定しています。ここでも数えたうえでの答えでした。
📌 「数えずに否定する」のクセは、要因の種類では説明できませんでした。記録から言えることだけ取り出すの字数は「開いた質問の中でたまたま埋もれた要因」で、今回の日数・価格比は「開いた質問でも自分から浮かび上がった要因」でした。差を分けたのは要因の重要さではなく、質問の開き方でした。
🔑 否定された項目があれば、名指しで聞き直す型は覚えておく価値があります。応募の記録に限らず、表の数字から、おかしいところを先に見つけさせるのような検品の場面でも、「これは問題ありません」と言われたら、その項目名だけを取り出してもう一度聞いてみてください。
⚠️ この記事の数字はすべて架空データでの実測です(材料2種×各5回=10回+言い直し方4種×各2回=8回+対照1回、全19回)。生の返りと照合は docs/evidence/the-blind-spot-was-just-word-count.md に全文置いてあります。