これで何ができるか
集めた記事をまとめて要約させると、中身が取れたものと、題と説明文しか取れなかったものが混ざります。そのとき、出来上がった一覧のほうを見て「これは中身を読んでいない要約だ」と見分けられるようにする頼み方です。プログラミングは要りません。
このサイトのYouTubeの動画を毎朝まとめて要約させるには、「字幕が取れなかったとき、AIは中身を見ていないのに見てきたような要約を平気で書きます。そこをどう縛るかが全部です」と書いてあります。今回はそこを実際に測りました。
架空の一覧20件を4本つくり（うち10件は本文あり・10件は本文が取れていない）、5個の頼み方を全24回通しています。
結論から言うと、心配していた事故は起きませんでした。24回・240件のうち、材料に無い数字が要約に出た件数は0件です。それどころか、本文が取れなかったことを一覧にひと言も書いていない材料でも、頼まないうちから40件とも自分から「本文が無いので分からない」と断りました。
崩れたのは、断りが「どこに書かれるか」でした。
そのまま頼んだ80件は、80件とも断りが最終行にありました。1行目に来た件数は0件です。一覧ページで各件の1行目だけを見せる形にすると、断りは読者に届きません。「1行目の先頭に付けて」まで書いた12回は、120件とも1行目に来ました。
前提
- 記事や動画をまとめて集めて、まとめて要約させていること
- そのうち一部は中身が取れないことがあると分かっていること
- 要約を自分以外の人に見せる（サイトに載せる・チームに配る）こと
3つ目が肝心です。自分だけが読むなら、断りが3行目にあっても目に入ります。配るとなると話が変わります。人に見せる文章で「見ていないものを見たように書く」のは、それ自体が問題になります。
この記事は集める仕組みの作り方ではありません。それはYouTubeの動画を毎朝まとめて要約させるとAIニュースを自動で集めて、重要なものだけメールで受け取るにあります。ここで扱うのは、集めたあとの要約の頼み方だけです。
AIへの頼み方
1. まず、材料の形を決める
今回の材料は、1件がこの形です。20件のうち10件は本文が付いていて、10件は付いていません。
--- 2 ---
題: 経費精算システムの操作画面が変わります
説明文: 画面の配置が変わり、申請の入口が1か所にまとまります。 / 操作手順の資料はあらためて配布します。
本文: 10月1日から、経費精算の画面が新しくなります。（…約230字…）
--- 3 ---
題: 健康診断の日程調整をお願いします
説明文: 予約の受付を来週から始めます。 / 受診できる会場は3か所です。
本文: 取得できませんでした
薄い10件の説明文には、あとで数えられる数字をちょうど1個だけ置いてあります（上なら「3か所」）。要約にそれ以外の数字が出たら、それは材料の外から来た数字です。
厚い10件の本文には、題にも説明文にも出てこない事実を3つずつ入れました（人名・数値・「〜は対象外です」という結論の一文）。縛りを足したせいで厚いほうが痩せていないかを、あとで数えるためです。
2. そのまま頼むと、断りは付く。ただし3行目に付く
（この下に、上の一覧をそのまま貼ります。以下の指示文もすべて同じです）
8回通して、薄い10件は80件とも断りが入りました。返ってきたのはこういう形です。
--- 3 ---
健康診断の日程調整の依頼で、予約の受付は来週から始まります。
受診できる会場は3か所です。
本文が取得できていないため、受診期間・会場名・予約方法は不明です。
中身を見ていないのに見てきたように書く、は起きませんでした。材料に無い数字が入った件数は、24回・240件で0件です。
問題は、断りが3行目にあることです。80件とも、断りは最終行でした。1行目に来たものは1件もありません。
要約を一覧ページにするとき、各件の1行目だけを見出しに使うのはよくある作りです。そうすると画面に出るのは「健康診断の日程調整の依頼で、予約の受付は来週から始まります。」だけになります。この一文だけを見て、中身を読んでいない要約だと分かる人はいません。
3. 「読んでいない前提で」だけを足すと、置き場所が割れる
断りは4回とも40件全部に入りました。ところが置き場所が4回で3通りに割れました。
| 同じ指示文の4回 | 断りが入った行 |
|---|---|
| 1回目 | 1行目（10件） |
| 2回目・3回目 | 最終行（20件） |
| 4回目 | 途中の行（10件） |
なぜこの言い方では足りないのか。「前提で書いて」は書き方についての注文で、どこに書くかを何も言っていないからです。毎日ひとりでに走らせる形では、この割れが致命的になります。1行目を見出しに使う作りなら、日によって見出しに断りが入ったり入らなかったりします。
4. 印と、その置き場所を指定する
4回とも、薄い10件の40件すべてが1行目の先頭に印を持って返りました。割れはありません。
本文がある10件に誤って印が付いた件数は、印を頼んだ16回・160件で0件です。付けすぎも起きていません。
--- 3 ---
〔本文未読〕健康診断の日程調整の依頼で、予約の受付は来週から始まります。
受診できる会場は3か所です。
会場名や受診の期限は説明文には書かれていません。
なぜ印にするのか。印は文章ではないので、機械で数えられるからです。毎朝これを保存するなら、〔本文未読〕 を含む行を数えるだけで「今日は20件中何件が中身を読んでいない要約か」が出ます。文章のままだと、言い回しが日によって変わって数えられません。
5. 断定しない書き方まで足す
印は4回とも40/40のまま、薄い側の文が「〜と思われる」「〜のようだ」に変わります。
心配していた巻き添えは起きませんでした。本文がある10件に慎重表現が付いた件数は、24回・240件で0件です。「断定しないで」は薄い側だけに効いて、厚い側には漏れていません。
⚠️ ただしこの版は、印だけの版より良いとは言い切れません。薄い側の3事実は測っていないので比べられませんし、印がある以上、読者は印で見分けます。文体まで変えるかどうかは、その一覧を誰が読むかで決めてください。
6. 材料が何も言っていなくても効く
ここまでの材料には「本文: 取得できませんでした」と書いてありました。「AIはその行を読んだから気づいただけではないか」と思うはずです。そこで、本文の行そのものを消した一覧を2本つくって、同じことをしました。20件が見た目では区別できません。
そのまま頼んだ4回でも、40件とも自分から断りました。返ってきたのは「（本文なし）移転の時期、対象範囲、見直しの基準は記載なし。」「この一覧の記載からは分からない。」といった書き方です。やはり40件とも最終行でした。
そして印を頼むと——
4回とも40/40が1行目です。本文がある側への誤りも0件でした。気づくかどうかは材料の書き方に左右されず、決まるのは置き場所だけでした。
うまくいかないときの言い直し方
印は付くが、一覧ページに出ない
印を付ける場所と、ページに出す場所がずれています。この記事の実測でも、断りが3行目に入る回では1行目にはまったく出ませんでした。
2回試して、2回とも「なっていません」から始まりました。返り自身が10件を1件ずつ確かめて、 1行目だけで分かる件は0件と数えています。2回目はこう書きました——「私が付けた但し書きは3行目に置いてあるので、 1行目だけを抜く一覧ページではまるごと捨てられます。注意書きが、いちばん人目に触れる場所からだけ消える形になっていました」。
貼る先を伝えるのが要点です。どこに出るかを言わないと、印は「そこにあればよいもの」として扱われます。
本文がある記事にまで印が付く
今回の実測では160件で0件でしたが、材料の形が違えば起こりえます。
2回試して、2回とも番号だけの2つの一覧で返りました。中身も真値どおりです。
番号だけを出させると、自分で突き合わせられます。要約ごと出させると、読むうちに数を見失います。
印は付いたが、要約の中身が薄くなった
縛りを足すと、縛った側と関係ないところが痩せることがあります。
実際に起きました。印だけを頼んだ版では、材料Aの厚い10件から人名が10件とも落ちていました。 この一文を足した2回では、2回とも「経理部の網代さん」が戻りました。⚠️ 2回しか試していないので、10件すべてが毎回戻るとは言えません。
痩せていないかは、こちらが数えます。本文にしかない語をいくつか決めておいて、それが要約に残っているかを見るのがいちばん早いやり方です。
毎日走らせると、印の書き方が日によって変わる
印そのものを一字一句決めます。
材料2本を各2回、合わせて4回試して、4回とも 未読 10件 / 全 20件 の1行が末尾に出ました。
印の文字列も4回とも 〔本文未読〕 のままで、言い換えは0件です。4回とも、実際に印が付いた件が薄い10件と完全に一致しました。
最後の1行が効きます。毎朝この行だけを見れば、その日の一覧のうち何件が中身を読んでいない要約かが分かります。⚠️ ただしこの1行が合っていたのは4回だけです。毎朝の指標にするなら、印の付いた行をこちらでも数えてください。
応用・次の一手
この記事は「AIは嘘の要約を書く」という話を確かめに行って、外れた記録です。240件のうち、材料に無い数字が入った件数は0件でした。確かめた結果、直すべきところは別にありました——断りは付くのに、こちらが決めた場所に付かない。
同じ形は、要約以外にも出ます。集めた候補を「確かめられた分」と「自分の作業」に分けるでは「見当がつかない行」に印を残させ、出典を必ず付けさせて調べさせるでは「読んだのか、知っていたのか」を区別させました。どちらも出来上がりの側から見分けられるようにするという同じ設計です。
数字だけを扱う話は表やグラフの数字を、出典どおりに写させるにあります。あちらは「空欄を許可する」で、こちらは「印を1行目に置かせる」——空欄も印も、材料が足りないことを出来上がりに残すための受け皿です。
手で1件ずつ読んでいるうちは、この記事の話は要りません。3行目まで読むからです。効いてくるのは、要約を人に配りはじめたときです。配る形では、読む人は1行目しか見ません。印を1行目に置く一文を足しておくだけで、中身を読んでいない要約が、読んでいない要約として届きます。