AIの使い方
これで何ができるか
アンケートの自由記述を、AIに分類して件数を数えさせられます。ただし頼み方によって、同じ24件が23件になったり、空欄の回答が「使いやすさ」の1件として数えられたりします。
架空のAI議事録ツールへの自由記述回答24件を用意しました。内訳は次のとおりです。
- 使いやすさ・価格・精度・サポート対応・機能要望のどれかにはっきり触れる回答：20件
- 価格と精度の両方に触れる回答：2件（「価格は安いのに精度が高い」のような文）
- 本当に空欄の回答：1件
- 「特にありません」「まあ普通です」のように、内容が無い回答：3件
**1回だけの結果ではありません。**4通りの頼み方のうち2つは、材料を変えずに別の独立したセッションで2回試し、両方とも同じ結果になりました（n=2）。残り2つは1回ずつの実測です。本文の最後に、確かめていないことも書いておきます。
数字の異常を探す記事は数字の表のおかしい点をAIに見つけさせるにまとめました。あちらは表の数字を点検する話、この記事は**文章（自由記述）**を分類して数える話です。似ていますが別の軸です。
前提
| かかる時間 | 20分 |
| 費用 | 無料。ブラウザのチャットAIで足ります |
| 必要なもの | アンケートの自由記述一覧（コピーして貼れる形） |
| プログラミング | 不要。この記事の指示文をコピーして貼るだけです |
実在の顧客名・取引先名は貼らないでください。この記事は架空のツールへの架空の回答を使っています。実在の人物・団体とは関係ありません。
AIへの頼み方
1. そのまま貼って分類を頼む（IDなし）
いちばん素朴な頼み方です。自由記述をそのまま貼ります。
上に続けて、自由記述24件を1行ずつ、そのまま貼りました。**23件の回答として処理されました。**本当に空欄だった1件が、貼った時点で前後の改行に埋もれて消えたためです。残り23件の分類自体は、使いやすさ4・価格6・精度6・サポート対応3・機能要望3・該当なし3で、2回試して2回とも同じ数字でした。空欄の回答は、AIが数え間違えたのではなく、貼った瞬間にそもそも見えなくなっています。
2. 同じ頼み方のまま、IDだけ振る
指示文は1文字も変えず、各回答の先頭にIDを付けるだけです。
指示文は1番と1文字も変えていません。続けて貼る24件のほうに「FB-01:」「FB-02:」とIDだけを振りました。**これだけで24件全部が勘定に入りました。**空欄のFB-07も「FB-07:」という行として残るので消えません。AIは自分から「分類対象外」という6番目の枠を作り、空欄と「特にありません」系の4件をそこに入れました。価格と精度の両方に触れる2件も、両方の分類に数えています。2回試して2回とも同じ内訳（使いやすさ4・価格6・精度6・サポート対応3・機能要望3・分類対象外4）でした。指示文は変えていません。IDという「消えない目印」を付けただけで、空欄が残る形に変わります。
3. 逃げ道を塞いで、1つだけに分類させる
複数に当てはまる回答や、内容の無い回答に「逃げ道」を与えないとどうなるかも試しました。
続けてID付きの24件を貼りました（IDと本文は1番・2番と同じです）。**合計はきれいに24件に合いました。**ところが内訳を見ると、空欄や「特にありません」「まあ普通です」「特に問題なく使えています」の4件が、すべて「使いやすさ」に押し込まれています。AI自身も「実質的な意見としては集計から除外するほうが実態に合うかもしれません」と注記していましたが、指示どおり1つに分類し、合計も24件で一致させました。合計の数字が合っていることは、中身が正しいことを保証しません。この回では、使いやすさが本来の4件から8件に水増しされています。
4. ID・複数選択可・「分類不能」をセットで渡す
2と3のどちらの良さも取る頼み方です。
続けてID付きの24件を貼りました。**24件全部がID付きで1行ずつ返り、こちらで数え直せる形になりました。**価格と精度の両方に触れる2件は「価格、精度」の2つを書き、空欄や内容の無い4件は「分類不能」と明記されています。そのうえで集計すると、使いやすさ4・価格6・精度6・サポート対応3・機能要望3・分類不能4（延べ26件、価格と精度の重複2件ぶん）と、2番の結果と一致しました。「集計はまだしないでください」の一文が肝心です。先に1件ずつ書かせることで、あとから自分で数えても同じ答えになります。
5. 新しい回答が増えたら、同じ指示文をそのまま使う
毎週アンケートが届く前提なら、4番の指示文を保存しておいて、新しい回答が増えるたびにそのまま使います。
4番とは別の新規セッションで、新しく増えた回答だけ（空欄1件・価格と精度の両方に触れる1件を含む6件）を続けて貼りました。前回のやりとりは引き継いでいません。6件とも正しく分類されました。指示文を毎回書き直さず、同じ文面を保存して使い回せます。これが同じ指示を何回もコピペしているなら、まとめて1回で頼めるの「毎回やっているなら、頼むこと自体をやめる」につながる形です。
6. 結果を人に報告するときは、数字を残すよう名指しする
分類ができたあと、Slackなどに「ざっくり」報告したくなる場面も試しました。
返ってきたのは「『価格』と『精度』についての声が特に多く、使いやすさ、サポート対応、機能要望が続きました。どれにも当てはまらない意見も少しありました」という文でした。並び順は正しいのですが、「分類不能が4件（24件中6件に1件）」という数字が「少しありました」に埋もれています。アンケートの設問が分かりにくかった可能性を示す数字なのに、これでは読んだ人に伝わりません。
うまくいかないときの言い直し方
「ざっくりで」と言いつつ、落としたくない数字がある
6番の問題は、「細かい数字は書かないで」としか言わなかったことです。残したい数字を名指しします。
今度は「分類できなかったものは4件で、全体の約17%です」という一文が残りました。「どれを削ってよいか」ではなく「どれを残すか」を名指しすると、読む側が知りたい数字が消えません。
分類の基準が、自分の思っていたものと違う
4番の結果でも、どちらの分類に入れるか迷う回答は残ります。たとえば「無料プランでも十分使えています」は、使いやすさとも価格とも読めます。
4番と同じ会話に続けて聞いたところ、「使いやすさ4件→5件、価格は6件のまま（すでに入っているため）」と、増える側の件数だけを正しく出しました。基準を変えさせるのではなく、基準が変わったときの差分を出させます。これなら、どちらの基準でも自分で選べます。
応用・次の一手
分類の名前自体が決まっていない段階なら、先に名前の候補を出させる手もあります。
24件を渡したところ、7個の候補に加えて「FB-07は空欄のため除外するのが妥当」「価格と精度など複数の論点にまたがる回答がある。1件1分類にするか複数分類を許すか先に決めておく必要がある」という注記が自分から付きました。**分類を始める前に、この記事の2番・4番で踏んだ注意点と同じものを自分から挙げています。**候補が決まったら、4番の指示文の分類名を入れ替えるだけで、同じ形がそのまま使えます。
⚠️ この結果は、架空のアンケート自由記述24件・1種類の材料での実測です。「AIの自由記述分類は当てにならない」と一般化しないでください。試したのは次の範囲までです。
- 材料は1種類（AI議事録ツールへの感想）だけで、質問文も1つです。別の質問文・別の分野のアンケートでは、分類の迷いやすさが変わる可能性があります
- 空欄の消失（1番）は、改行で区切って貼った場合の実測です。表やExcelからそのまま貼った場合は挙動が違う可能性があります。確かめるなら、まずIDを振る（2番・4番）のが安全です
- 5番（新しい回答への再利用）は6件・1回だけの実測です。件数が増えたときに同じ精度が保たれるかは確かめていません
- 「だいたいで」の崩れ方（6番）は1回だけの実測です。言い方を変えれば違う崩れ方をする可能性があります
今回の生の返りは docs/evidence/free-text-tally-needs-row-ids.md に全文置いてあります。次の一手としては、数字の表のおかしい点をAIに見つけさせるが、文章ではなく数字そのものを点検する側の軸です。