アンケートの自由記述を自動でまとめる——条件付きの声は、2本中1本の材料で紛れた

これで何ができるか

毎回のアンケートや感想の自由記述を、AIに「似た意見をまとめて件数にして」と頼む自動化の頼み方です。プログラミングは要りません。

集計で心配なのは、「〜すれば使う」「〜であれば満足」という条件付きの意見が、無条件の賛成や、理由の違う不満に紛れて数えられてしまわないかということです。架空の勤怠アプリ満足度アンケート20件・研修感想アンケート22件に、この罠をそのまま仕込んで実測しました。

材料B（研修感想アンケート）では、条件付きの意見4件×2回=8件のうち5件が、近いテーマの別グループに紛れ込みました。ところが件数の合計はどちらの材料も、元の総数（20件・22件）のままずっと合っていました。壊れていたのは「合計が合うか」ではなく、「どの意見がどのグループに入ったか」のほうです。

前提

• この記事は、自由記述の意見を似たものでグループ分けする作業に絞っています。取引先名や店舗名のような同一の文字列の名寄せは似た取引先名をAIに名寄せさせるに、1本の文書のただし書きが要約で消える話は長い文書の要約から「ただし書き」だけが消えるのを防ぐにあります
• 実測に使ったのは架空のアンケート回答で、実在する企業・研修とは関係ありません

AIへの頼み方

1. まず素朴に頼む — 結果は材料によって割れた

架空の勤怠アプリ満足度アンケート20件を用意しました。無条件の賛成8件・条件付きの賛成4件（「操作に慣れれば」「マニュアルがあれば」など）・理由の違う反対8件（動作が重い・個人情報が心配・通信環境・高齢者に難しい、を2件ずつ）という内訳です。

独立した2回とも、条件付きの意見4件はどちらも無条件の賛成とは別グループに分かれ、理由の違う反対4種も混ざりませんでした。1回目は「操作への不安・慣れの問題」として4件がまとまり、2回目はさらに細かく分かれましたが、どちらも条件付きの意見が無条件の賛成に紛れ込むことはありませんでした。この材料では、指示していなくても崩れなかったのです。

同じ指示文を、今度は架空の研修感想アンケート22件に使いました。内訳は無条件の満足8件・条件付きの満足4件（「復習の機会があれば」「実践編があれば」など）・理由の違う不満10件（時間不足3件・内容が難しい3件・実務に合わない2件・会場環境2件）です。

1回目は、条件付きの意見4件のうち2件が、無条件の意見に紛れ込みました。「実務への活用・今後への期待（4件）」というグループに、無条件の「実務に活かせそうな内容でした」「また参加したいです」と、条件付きの「使ってみないと分かりませんが、期待しています」「業務に落とし込めれば役立つと思います」が一緒に入りました。さらに「ボリューム・構成への要望（5件）」というグループには、条件付きの「復習の機会があれば」「実践編があれば」という2件が、無条件の不満である「時間が短くて消化不良でした」など3件と一緒くたにされました。条件付きの意見4件のうち、この回だけで4件全部が別の意見と混ざったことになります。

2回目は、1件（「業務に落とし込めれば役立つと思います」)だけが無条件の「実務に活かせそうな内容でした」と同じグループに入りました。2回を通じて、条件付きの意見4件×2回＝8件のうち5件が、近いテーマの別グループに紛れました。それでも、どちらの回もグループの件数を全部足すと22件になり、合計だけを確認していたら異常には気づけません。

2. 「条件付きの意見は別グループに」という一文を足すと、2つの材料とも紛れが消えた

研修感想アンケートに、この一文だけを足した指示文で2回試しました。独立した2回とも、条件付きの意見4件が丸ごと専用グループに入り、無条件の意見には1件も紛れませんでした。理由の違う不満4種（時間不足・難易度・実務との乖離・会場環境）も、指示していないのにそれぞれ独立したグループのままでした。「条件付きを分けて」という一文しか足していないのに、理由別の反対まで巻き添えで崩れることはなかったのです。

同じ一文を勤怠アプリのアンケートにも試しました。

もともと崩れていなかった材料なので、当然ながら2回とも紛れはありませんでした。

3. もっと紛らわしい材料でも崩れないかを確かめる

条件付きの意見と理由付きの不満が、同じ話題（価格・操作性）を共有しているときはどうでしょうか。「料金が下がれば使ってもいい（条件付き・反対寄り）」と「費用対効果が見合わない（無条件の反対・理由は価格）」のように、条件と理由が同じ土俵にある10件の架空アンケートを新しく作りました。

独立した2回とも、「料金が下がれば使いたい」と「費用対効果が見合わない」、「操作が簡単になれば使いたい」と「操作が複雑で分かりにくい」は、それぞれ別グループのまま混ざりませんでした。話題が重なっていても、条件の有無という軸で正しく分かれています。この時点で材料3本・のべ6回、条件付きの意見が紛れた回は0回です。

うまくいかないときの言い直し方

「理由が違えば分けて」まで足す必要はなかった

素朴な指示文がうまくいかなかったとき、まず思いつくのは「条件を分けて、かつ理由が違う反対も分けて」と、両方を一度に指示することかもしれません。実際にそう指示して研修感想アンケートで2回試しました。

結果は「条件付きを分けて」だけの一文と同じで、2回とも紛れは0件でした。理由別の反対をわざわざ指示しても、結果は変わらなかったのです。もう一度、素朴な指示文の結果を見直すと、理由の違う反対4種（時間不足・難易度・実務との乖離・会場環境）自体は、素朴な指示文の2回でも一度も混ざっていませんでした。崩れていたのはいつも「条件付きの意見」のほうだけです。

足すべき一文は1つだけでした。「反対や不満は理由ごとに分けて」という、いかにも効きそうな追加の指示は、この実験では中身を1件も動かしませんでした。効いていない指示を積み増すと、次に本当に必要な一文を見分けにくくなります。まず素朴な指示文の結果を見て、実際にどこが崩れているかを確かめてから、そこだけを名指しする一文を足すことが、遠回りに見えて近道でした。

応用・次の一手

この実験でいちばん確かなのは、「似た意見をまとめて」という素朴な頼み方が、材料によっては何も崩さないことがあるという点です。勤怠アプリのアンケートでは、条件付きの意見は指示していなくても一度も紛れませんでした。もし最初にこちらの材料だけで試していたら、「うちのAIは大丈夫」と思い込んでいたはずです。同じ指示文でも、意見どうしのテーマが近い材料に変えただけで、8件中5件という結果に変わりました。

毎回の自動集計で確かめるべきなのは、グループの件数の合計ではありません。今回、件数の合計は崩れた回でも一度も間違っていませんでした。合計だけを見るチェックでは、この紛れ込みには一生気づけません。確かめるべきは、条件付きの意見が、無条件の意見や別の理由の不満と同じグループに入っていないかを、実際の項目名で数件スポットチェックすることです。

対策はシンプルで、「条件付きの意見（『〜すれば』『〜であれば』)は無条件の意見と別のグループにしてください」と一文を添えるだけでした。反対や不満の理由分けまで追加で指示する必要はなく、それは素朴な指示文でもすでに機能していました。効きそうな指示をまとめて積むより、実際に崩れた箇所だけを名指しする一文のほうが、少なくとも今回は十分でした。似た取引先名をAIに名寄せさせるでも、区別できる手がかりを名指しした一文だけで直っていたのと同じ構図です。

⚠️ この実測は、あくまで今回作った架空のアンケート・今回の実測環境での結果です。「AIは条件付きの意見を必ず見分ける」という一般化はできません。確かなのは、「まとめて」とだけ頼むと材料によっては条件付きの意見が紛れうること、その紛れは件数の合計には出ないこと、そして「条件付きは別グループに」という一文が、価格や操作性の話題が重なる紛らわしい材料でも紛れを防いだことの3点です。

📌 この記事の実測は、①素朴な指示文（勤怠アプリ20件×2回・研修感想22件×2回＝計4回）、②「条件付きを分けて」の一文を足した版（研修感想22件×2回・勤怠アプリ20件×2回＝計4回）、③価格・操作性が重なる材料C（10件）に②と同じ一文を使った版（2回）、④「理由が違えば分けて」まで足した版（研修感想22件×2回）の4段階で、材料3本・のべ12回試しました。条件付きの意見が別グループに紛れた回数は、素朴な指示文で研修感想アンケートのみ5／8件、それ以外はすべて0件でした。詳しい内訳と生の回答はdocs/evidence/conditional-opinion-joins-the-wrong-group.mdに全文置いてあります。⚠️ 実測に使ったAIは、この環境にプリインストールされているclaude CLIを--safe-mode --tools ""で新規サブプロセス起動したもので、材料を作った本人（このセッション）とは別の実行系統・毎回新規セッションです（前の回のやり取りは一切引き継いでいません）。