これで何ができるか

AIの要約から、読んでも何も分からない一文が消えます。

AIに要約を頼むと、こういう行が混ざります。

  • 「AIと声で話す機会がある人に影響します」
  • 「学術研究者や技術開発者に影響します」
  • 「今後の展開が注目されています」

どれも間違ってはいません。ただ誰にでも当てはまることしか書いていないので、読んでも何も増えません。しかも文の形は整っているので、ざっと見ると仕事をしているように見えます。

実際にあった例を1つ。AIの新着情報を毎日集めて日本語で3行にまとめる仕組みを動かしたところ、59件の要約すべての3行目が「〜に影響します」で終わっていました。1件の例外もありません。

指示文を直す前と後で、当たり障りのない一文が入っていた要約の割合を比べた図。行数を3行に固定していたときは59件中59件すべてに入っていたが、行数の固定をやめたあとは120件中0件になった。
同じ相手・同じ材料で、指示文だけを変えた結果

原因は AI ではありませんでした。指示文で「3行目は誰に関係するかを書く」と型を決めていたのが原因です。書くことが無くても3行目の枠がある以上、AIはそこを埋めにきます。

前提
かかる時間 5分
費用 無料
必要なもの 特になし（チャット画面だけのAIでも効きます）
プログラミング 不要

要約を頼む相手なら何でも構いません。手元で動かせるAIも要りません。

ひとつ誤解を解いておきます。これは「短く書け」という話ではありません。短くしろと言うと、今度は必要な情報まで削られます。変えるのは長さの指定ではなく、長さを決めていること自体です。

AIへの頼み方

1. 行数を決めない

これが本体です。他を全部忘れてもここだけ効きます。

最大3行にしてください。 書くことが無ければ2行で、それも無ければ1行で構いません。行数を揃える必要はありません。

「3行で」と言うと、AIは3行ぶんの中身が無くても3行書きます。足りないぶんは、当たり障りのない文で埋まります。上限だけ決めて、下限を外してください。

実際に外したあとの120件を数えたら、こうなりました。

行数の固定をやめたあとの要約120件の行数分布を示した横棒グラフ。1行で済んだものが10件、2行が43件、3行が67件。以前は全件が3行で、足りない行は当たり障りのない文で埋まっていた。
短く終わるものが出てきたら、それが正常です

2. 埋め草を名指しで禁止する

「当たり障りのないことを書くな」では通じません。実際に出てきた文をそのまま挙げます。

次のような行は書かないでください。 ・「〜に関係する人に影響します」（誰にでも当てはまる） ・「注目されています」「話題になりそうです」（中身が無い） ・「今後の展開が期待されます」（何も言っていない）

括弧の中の「なぜ駄目か」を必ず添えてください。理由が無いと、AIは挙げた3つだけを避けて、4つ目の言い回しを発明します。理由を書くと、似た形の言い回しもまとめて避けてくれます。

3. 「中身がある」の中身を決める

禁止だけだと、AIは何を書けばいいのか分からなくなります。書いてほしいものを具体的に挙げます。

具体的なことだけを書いてください。具体的なこととは、数字・固有名詞・前との違い・できるようになったことです。

これを足したあと、実際にこういう要約が出るようになりました。

Circles が AI で通信事業の個別化を進めました。
OpenAI の API などを使い AI サービスを提供。
売上22%増、顧客離れ9%減を実現しました。

3行目に数字が入っています。禁止する前は、ここが「通信事業運営者や顧客に影響」でした。同じ材料から出てきた文です。

4. 材料が無いときは、書かせない

埋め草が出る原因はもう1つあります。そもそも材料が足りないときです。

元の文章に書かれていないことは足さないでください。 材料が足りなくて要約が書けないときは、無理に書かず「材料が足りない」と答えてください。

材料が無いのに要約させると、AIは事実でないことを書きます。実際に、題名しか無い記事を要約させたとき、「日本語特化のAPI」を「外部サービス連携の仕組みです」と書かれました。見ていないものを見たように書く問題は YouTubeの動画を毎晩自動で要約させる にも書きました。

5. 出来上がりを何件か見せさせて、数える

直したつもりで直っていないことがあります。感想ではなく数で確かめます。

直した指示文で作った要約を10件見せてください。 そのうえで、禁止した言い回しが何件に入っているか数えて報告してください。

「良くなりましたか」と聞くと「良くなりました」と返ってきます。数えさせると、直っていないときに数字が出ます。

6. 直った状態を、次からも保つ

一度直しても、指示を出し直すたびに元へ戻ります。

この禁止事項を、この先ずっと守ってほしいです。毎回言わなくて済むように、理由も含めて覚えておいてください。

やり方は AIに「記憶」を持たせる に書きました。

うまくいかないときの言い直し方

禁止したら、別の埋め草が出てきた

一番よく起きます。3つ禁止すると4つ目を発明します。

禁止した言い回しは消えましたが、代わりに別の当たり障りのない行が入っています。 いま作った要約を読み返して、「誰にでも当てはまる行」を自分で見つけて挙げてください。そのうえで、その行を消すとどうなるか見せてください。

自分で見つけさせるのがコツです。こちらが列挙し続けるとキリがありませんが、判定基準（誰にでも当てはまるか）を渡せば、AIは自分で探せます。

短くしろと言ったら、必要な情報まで消えた

短くしすぎです。消してほしいのは「誰にでも当てはまる行」であって、数字や固有名詞ではありません。 数字と固有名詞は残したまま、当たり障りのない行だけを消してください。

何を消すかではなく、何を残すかを言うと直ります。

3行目だけ、いつも浮いている

型が残っている合図です。

1行目・2行目・3行目にそれぞれ役割を割り当てるのをやめてください。 書くことがある順に書いて、無くなったら終わりにしてください。

「要約して」と頼むと、感想が混ざる

評価や感想は書かないでください。「画期的」「重要な一歩」のような判断を入れず、書かれていた事実だけを並べてください。

感想は、書くことが無いときの逃げ道になります。禁じておくと、事実を探しに戻ります。

直したはずなのに、また戻っている

言葉での指示は「お願い」なので、破れます。

この決まりは、うっかり破れてしまいます。破れないように、機械的にチェックして止める仕組みを作れますか。

たとえば「材料が足りない記事は、そもそも要約させない」は、言葉ではなく仕組みで止められます。実際にそうしました。静かに壊れたのを見つけさせる と同じ考え方で、気をつけるのではなく、気をつけなくても起きない形にします。

応用・次の一手

まず1だけ試してください。「書くことが無ければ2行で、それも無ければ1行で構いません」の一文だけで、大半は消えます。

この記事で一番伝えたいのは、埋め草そのものではありません。出力がおかしいとき、原因がこちらの指示にあることがある、という点です。

今回もそうでした。「3行目は誰に関係するかを書く」という親切のつもりの指定が、書くことが無くても埋めさせる圧力になっていました。AIを責めても直りません。枠を作ったのはこちらです。

同じ形の失敗は、要約以外でも起きます。「必ず3つ挙げてください」「表を埋めてください」「各項目に一言添えてください」——数や枠を先に決めた指示は、全部この危険があります。出てきたものが妙に整っているのに中身が薄いと感じたら、自分の指示に枠が無いか見直してみてください。

この指示文の中に、書くことが無くても埋めさせてしまう指定が無いか見てください。あれば、どこをどう直せばよいか教えてください。