これで何ができるか

AIに「読みやすく整えて」と頼んだあと、直した箇所を全部読み返すのは大変です。見る場所を絞れれば、確認は速くなります

架空の応募文(実績欄・抱負欄)と架空の謝罪文(経緯欄・今後の対応欄)を用意し、独立した10回の会話で「この文章を読みやすく整えてください」とだけ頼みました。会話どうしは互いの結果を知りません。

  • 事実欄(実績・経緯)に新しい記述が足された回は、10回とも0回でした。日付・年数・件数・金額はすべて元のまま残り、新しい数字も1つも出てきません
  • 変化が起きたのは謝罪文の5回目、1回だけです。今後の対応欄に「このたびの事態を重く受け止め、」という元の原稿に無い一文が足されました
  • ほかに3回、「体制を見直してまいります」が「配送体制を見直してまいります」のように、語句だけが補われました(文まるごとの追加ではありません)
架空の応募文5回・架空の謝罪文5回、合計10回に「読みやすく整えて」とだけ頼み、事実欄への追加・約束欄への追加・元の数字が全部残ったかを回ごとに並べたマス目。事実欄への新しい記述は10回とも0件で、元の数字も10回とも4個または6個すべて残った。約束欄への新しい記述は、謝罪文の5回目だけ1件だった。
事実欄(実績・経緯)はどの回も無傷でした。動いたのは約束欄の、たった1回です。

「約束欄が誇張される」というより「そもそも何も足されないことのほうが多く、足されるとしたら必ず約束欄側」というのが実測での見え方でした。

架空の応募文5回・謝罪文5回、合計10回で「読みやすく整えて」を試したとき、何かが足された回数を場所ごとに並べた横棒グラフ。事実欄に新しい文が足された回は0回。約束欄に語句だけ補われた回(「配送」等)は3回(いずれも謝罪文)。約束欄に新しい文がまるごと足された回は1回。書類の外側にあいさつ文が足された回も1回。
語句だけの補いと、文まるごとの追加は分けて数えました。文まるごとの追加は10回中1回だけです。

この記事では、その1回に絞って確認する頼み方までまとめます。

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 事実の欄(日付・数字)と、今後の対応や抱負の欄が分かれている文章
プログラミング 不要。この記事の指示文をコピーして貼るだけです

この記事で扱うのは、応募文と謝罪文の2種類です。発注元にそのまま出す文章を作らせる話ではありません。発注元がAIの利用を禁じている場合があります。規約や指示書を先に確かめ、禁じられているなら使わないでください。

AIへの頼み方

1. まず「読みやすく整えて」とだけ頼む

版は振らず、10回とも同じ一文だけを送りました。

実績欄と抱負欄、または経緯欄と今後の対応欄のように、事実と約束が分かれている文章を用意し、その下にこの一文だけを続けます。

この文章を読みやすく整えてください。

10回のうち6回(応募文5回・謝罪文4回目)は、事実欄にも約束欄にも一切何も足されませんでした。表現が「〜しました」から「〜いたしました」に変わる程度の言い換えはありますが、新しい記述はありません。

🔑 足されたのは謝罪文の5回目だけで、今後の対応欄に「このたびの事態を重く受け止め、」という一文が丸ごと足されました。同じ回では、原文に無いあいさつ文とお詫びの前置き2文、結びの1文も、経緯欄より前と今後の対応欄より後ろに足されています。これは事実欄でも約束欄でもない「書類の外側」の付加です。

2. 増えた場所を、あとから自分で突き合わせる

整えてもらったあと、その場で確認させられます。

さっき整えてもらった文章と、最初の原稿を1行ずつ突き合わせて、原稿に無い一文があれば挙げてください。事実欄・約束欄のどちらにあるかも書いてください。

謝罪文の5回目の返りにこの指示文を続けて送ったところ、足された一文「このたびの事態を重く受け止め、」を正確に見つけ、約束欄にあると正しく分類しました。しかも「体制」が「配送体制」に具体化されている点まで自分から拾い、「新しい約束の追加とも読めるため申し添えます」と念を押してきました。この自己申告は今回、人が読んだ判定と一致しています。

⚠️ ただし自己申告が常に当たるとは限りません。申告と実際の差分がずれた記事では、申告7件に対し実際の差分は13件でした。当たっていることを確認するまでは、この一覧を鵜呑みにしないでください。

3. 念を押しても、書類の外側のあいさつは止まらない

「約束を足すな」と先に釘を刺す頼み方も試しました。文章はこの一文の下に続けて貼ります。

この文章を読みやすく整えてください。ただし、元の原稿に無い数字・実績・今後の対応の約束は足さないでください。

2回とも、今後の対応欄は原文と一字一句同じままでした。§1で見えた「このたびの事態を重く受け止め、」のような追加は、この2回では起きていません。

🚨 ところが2回とも、書類の外側(冒頭のあいさつと結びの一文)は新しく足されました。「お客様各位」から始まる宛名と、「以上、何卒よろしくお願い申し上げます」のような結びです。「約束を足すな」という指示は、今後の対応欄の中身には効きましたが、書類の外側までは届きませんでした。

4. 約束欄を「あとで指示するまで触らせない」

先に事実と約束を分けて書き出させ、約束欄は保留にする頼み方です。

整える前に、事実欄と約束欄を分けて書き出してください。約束欄にはこちらが指示するまで手を入れないでください。

2回とも「指示があるまでこのままにしています」と書いて止まりました。約束欄の中身は、1回は「再発防止に努めてまいります」のまま一字一句同じ、もう1回は「再発防止に努める」と語尾だけ現在形に変わりましたが、新しい約束が足されたわけではありません。§3で残っていた「書類の外側への付加」も、この頼み方では2回とも起きていません。整える前に止めさせる分だけ、外側に足す隙も無くなったと見られます。

約束欄まで一気に整えさせず、いったん事実欄と約束欄を分けて出させてから進めるほうが、確認は簡単になります。

5. 約束欄だけ短くする、と向きを指定する

逆に「約束欄だけ触ってよい」と向きを指定した場合も見ておきます。

事実欄はそのまま残し、約束欄だけ短くまとめてください。

経緯欄は箇条書きのまま一字一句残り、今後の対応欄は「今後は再発防止と体制の見直しに努めてまいります。」と1文にまとまりました。原文の2つの約束をまとめただけで、新しい約束は足されていません。ただし、ここでも書類の外側(あいさつと結び)は新しく足されました。事実欄を触らせない指定は効きますが、外側への付加とは別問題のようです。

6. 毎回同じ形で確認したいなら、欄ごとに2回に分ける

これまでの結果をまとめると、1回で全部整えさせるより、事実欄と約束欄を2段階に分けるほうが確認しやすくなります。まず事実欄だけを頼みます。

まず事実欄だけを読みやすく整えてください。約束欄には触れないでください。

実際、事実欄の項目だけを箇条書きで整えて返し、約束欄には一切触れずに応答が止まりました。数字も6項目とも元のまま残り、あいさつも結びも足されませんでした——約束欄そのものを話題にしないと、書類の外側への付加も出ないようです。

事実欄が整ったのを確認してから、約束欄は§3の指示文(「元の原稿に無い……約束は足さないでください」)を続けて使います。2段階に分けると、それぞれの結果が短くなるので、1回で全部を見比べるより見落としにくくなります

うまくいかないときの言い直し方

「約束を足すな」と言ったのに、それらしい前置きが付いてくる

§3で見たとおり、今後の対応欄の中身は守られても、書類の外側のあいさつ・結びは別枠で足されます。ここを止めたいなら、§4のように「整える前に分けて書き出し、約束欄は保留にする」頼み方に変えてください。外側に何かを足す前の段階で止まるため、あいさつも結びも足されませんでした。

何が増えたのか、自分で見比べるのが大変

§2の突き合わせ指示文を使ってください。ただし、返ってきた一覧を最終判定にしないでください。今回は正しく1件を見つけましたが、一覧を何度も直させた記事では、AI自身の訂正申告のほうが元の記録と食い違っていました。最後は自分の目で、元の原稿と並べて確認してください。

事実欄まで表現が変わっていて、直されたか不安になる

表現が変わっていても、数字が同じなら事実は動いていません。「担当いたしました」と「担当しました」のような言い換えは、この実測の10回すべてに起きていますが、数字・日付・件数はどの回も1文字も変わりませんでした。不安なら、数字だけを元の原稿と突き合わせてください。文の言い回しまで一致している必要はありません。

応用・次の一手

この型は謝罪文と応募文以外にも使えます。見積もり回答・お詫びメール・進捗報告など、「動かしてはいけない事実の欄」と「これからどうするかの欄」が分かれている文章なら、同じ2段階(§6)で確認できます。

毎回同じ文書を整えるなら、§4の「事実欄と約束欄を分けて、約束欄は保留にする」指示を保存版にしてください。この記事の実測では、この頼み方をした2回だけ、書類の外側への付加も含めて何も増えませんでした。

この記事は「盛られるのは実績ではなく約束のほう」という2本の既存記事——応募書類で実績を盛らない記事返信文をやわらげすぎない記事——が、それぞれ1つの書類で見ていた形を、2つの書類をまたいで同じ形が出るかという角度で確かめ直したものです。

⚠️ この結果は、この2つの架空文書・この10回での実測です。「約束欄だけ確認すればよい」と決めつけず、事実欄も§2の突き合わせで時どき確認してください。今回はたまたま10回とも事実欄が無傷でしたが、0回だったことは「絶対に起きない」ことの証明にはなりません。

今回の生の返りと判定コードは docs/evidence/facts-stay-promises-grow.md に全文置いてあります。