これで何ができるか

前の記事は、下書きの文末表現が不自然に連続している箇所を「指摘して」と頼んだとき、パターンを2つから3つに増やすと見出しの数が合わなくなる現象を確かめました。今回はパターンをさらに4つに増やし、同じ崩れ方が悪化するのかを調べます。

結論を先に書きます。

指示文 材料 見出しの数字が実際と食い違った回数
素朴に「指摘して」(前作・3パターン) 清掃当番メモ 5回中3回
素朴に「指摘して」(今回・4パターン) 材料A(清掃当番) 5回中1回
素朴に「指摘して」(今回・4パターン) 材料B(備品発注) 5回中3回
総数を先に明記させる 材料A+B(計8回) 0回
総数を最後に明記させる 材料B(3回) 0回

パターンを4つに増やしても、見出しの数字が食い違う回数は悪化しませんでした。材料Aでは5回中1回、材料Bでは5回中3回でした。ただし崩れ方は材料によって違いました。材料Aは前作と同じ「本文のリストそのものが3項目に減る」崩れ方でしたが、材料Bは本文のリストは5回とも4つ同格で正しいのに、見出しの文の数字だけが「3」と誤りました。総数を先または最後に明記させる言い方に変えると、11回とも数字と列挙が一致しました。

文末パターンを4つに増やしたときに、見出しの文が宣言する数字が実際の4と食い違った回数を示す表。参考として前作の3パターン時は5回中3回食い違った。今回の4パターンは、材料A(清掃当番メモ)では5回中1回、材料B(備品発注引き継ぎメモ)では5回中3回食い違った。総数を先に明記させる言い方では材料A・B計8回とも一致し、最後に明記させる言い方でも材料Bの3回とも一致した。下の枠には、材料Aでは前作と同じ本文のリストが3項目に減る崩れ方が5回中1回だけ再発したこと、材料Bでは本文のリストは5回とも4つ同格なのに見出しの文の数字だけが5回中3回「3」と誤ったことが書かれている。
4パターンでも食い違いは悪化しない。ただし材料によって現れ方が違いました。

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 直したい文章(下書き)1本
プログラミング 不要。この記事の指示文をコピーして貼るだけです

発注者の原稿や実在の人物が書いた文章は、そのまま貼らないでください。この記事は架空の下書きを使っています。実在の人物・団体とは関係ありません。

この記事は前の記事・その前の記事の続編です。AI生成文章の検品という副業区分の全体は発注書どおりに検品する記事も参考にしてください。

この実測には、このサイト(ai-tsukaikata)のプロジェクトを動かしている環境の文脈が一部伝わっています。「素のAIは必ずこう返す」とは一般化せず、ここに書いた数字(n回中n回)だけを根拠にしてください。

AIへの頼み方

1. 文末パターンを4つに増やした下書きで試す(材料A)

清掃当番メモを前作の18文から28文に拡張し、文末パターンを3つから4つ(「〜でしょう」「〜と思います」「〜のです」「〜という次第です」)に増やしました。それぞれ3文連続で仕込み、間に4文ずつ無関係な業務連絡を挟んでいます。

次の文章で、文末表現が不自然に連続している箇所があれば指摘してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。当番は月曜から金曜まで、1日ずつ交代で担当します。担当の順番は五十音順です。休んだ場合は翌週に繰り越します。道具は給湯室の棚にまとめてあります。今回の変更で、作業時間も短くなると思います。午前中に済ませたほうが楽だと思います。慣れれば5分程度で終わると思います。雑巾は使ったら、洗って干しておいてください。スプレーのつけ替えは総務へ一声かけること。鍵は守衛室で借りるようにしてください。忘れ物は週末にまとめて片付けます。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。掃除用のスプレーは共用のものを使います。終わったらチェック表に印を付けてください。椅子は机の下にしまうこと。電気はブレーカーごと確認してください。来月からは当番表を掲示板にも貼る次第です。連絡はチャットでも行う次第です。質問は当番リーダーに聞く次第です。新しい担当者には個別に説明します。不明点は月初のミーティングで共有してください。引き続きよろしくお願いします。

5回試した結果です。

回 見出しの数字 本文のリスト
1・2・4・5回目 「4か所」と正しく宣言 4パターンとも同格に列記
3回目 「3箇所」 でしょう・のです・次第の3項目のみ。「と思います」は別の文で「目立ちにくい」と格下げ

5回中4回は見出しの数字も本文のリストも4と一致しました。3回目だけ、前作(3パターン時)と同じ「1つを格下げする」崩れ方が再発しました。

2. 別の題材でも同じか(材料B)

備品発注の引き継ぎメモで、同じ構成(28文・4パターン・間に4文ずつ)の別の材料を作りました。内容は違いますが、パターンの仕込み方は材料Aと同じです。

次の文章で、文末表現が不自然に連続している箇所があれば指摘してください。 来月から備品発注の担当をあなたに引き継ぎます。発注書は毎月25日までに提出するとよいでしょう。在庫が少ない品目は早めに注文したほうがよいでしょう。急な欠品は業者に直接連絡するとよいでしょう。発注先の一覧は共有フォルダに置いてあります。見積もりは2社以上から取ってください。支払いは月末締めの翌月払いです。承認は部長の決裁が必要です。今回から発注フォームを簡略化できると思います。これで入力の手間も減ると思います。ミスも少なくなると思います。新しいフォームのリンクはメールで送ります。旧フォームは今月末で使えなくなります。質問があれば総務課に聞いてください。マニュアルは社内wikiに置いてあります。消耗品は在庫表で毎週確認するのです。文房具は各部署からの申請を集めるのです。大型の備品は別の承認フローを通すのです。配送は週2回、火曜と金曜です。受け取りは受付で対応します。破損品はすぐに写真を撮っておいてください。返品の連絡は発注書の番号を伝えてください。来月からは発注の承認もオンラインで行う次第です。紙の申請書は廃止する次第です。印鑑も不要になる次第です。引き継ぎ資料は別途お送りします。不明な点はいつでも聞いてください。よろしくお願いします。

5回試した結果です。

回 見出しの数字 本文のリスト
1回目 「3箇所」 ①②③④の4項目が同格に列記
2回目 「3つ」 ①②③④の4項目が同格に列記
3回目 「4か所」 同格に列記
4回目 数字を言わず列記 同格に列記
5回目 「3つ」 ①②③④の4項目が同格に列記

材料Bでは、5回中3回(1・2・5回目)が見出しの一文で「3箇所」「3つ」と言いながら、直後の番号付きリストには4項目とも同格に並んでいました。材料Aの3回目(リストそのものが3項目に減る)とは違う崩れ方です。本文の中身は無傷なのに、それを要約する最初の一文の数字だけが誤っています。

材料A(trial3)と材料B(trial1)を並べた図。材料Aは見出しが「不自然な連続が3箇所あります」と言い、本文のリストも①でしょう②のです③次第です の3項目しか無く、4つ目(と思います)は別の文で「3箇所より目立たない」と格下げされている。材料Bは見出しが「以下の3箇所で…不自然です」と言うが、本文のリストは①②③④の4項目が4パターンとも同格に並んでおり、格下げは無い。下の枠には、材料Aは前作(3パターン時)と同じ本文のリストそのものが減る崩れ方であること、材料Bは本文は無傷で要約の数字だけが誤る、今回新しく見つかった崩れ方であることが書かれている。
崩れ方は2種類。本文ごと減る型と、本文は無傷で数字だけ誤る型です。

なぜ、材料によって崩れ方が違うのか

材料Aの3回目は、見出しの数字と本文のリストが同じ3という数で一致していました(自己矛盾は無く、ただ4つ目を見落としていた)。材料Bの1・2・5回目は、見出しの数字(3)と本文のリスト(4項目)がその回答の中で食い違っていました。どちらも読者が見出しだけを読むと件数を誤解する点は同じですが、直し方を考えるうえでは区別する価値があります。本文のリストが減る崩れ方は見出しを読んでも気づけますが、本文が無傷で数字だけ誤る崩れ方は本文を全部読まないと気づけません。

うまくいかないときの言い直し方

総数を明記させると、どちらの崩れ方も消えるか

前作と同じ言い直し方——見つかった総数を先に明記させる言い方——を、まず材料Bで試しました。

次の文章で、文末表現が不自然に連続している箇所をすべて洗い出してください。見つかった箇所の総数を、回答の最初に明記してください。 来月から備品発注の担当をあなたに引き継ぎます。発注書は毎月25日までに提出するとよいでしょう。在庫が少ない品目は早めに注文したほうがよいでしょう。急な欠品は業者に直接連絡するとよいでしょう。発注先の一覧は共有フォルダに置いてあります。見積もりは2社以上から取ってください。支払いは月末締めの翌月払いです。承認は部長の決裁が必要です。今回から発注フォームを簡略化できると思います。これで入力の手間も減ると思います。ミスも少なくなると思います。新しいフォームのリンクはメールで送ります。旧フォームは今月末で使えなくなります。質問があれば総務課に聞いてください。マニュアルは社内wikiに置いてあります。消耗品は在庫表で毎週確認するのです。文房具は各部署からの申請を集めるのです。大型の備品は別の承認フローを通すのです。配送は週2回、火曜と金曜です。受け取りは受付で対応します。破損品はすぐに写真を撮っておいてください。返品の連絡は発注書の番号を伝えてください。来月からは発注の承認もオンラインで行う次第です。紙の申請書は廃止する次第です。印鑑も不要になる次第です。引き継ぎ資料は別途お送りします。不明な点はいつでも聞いてください。よろしくお願いします。

5回とも「総数:4箇所」等と正しく宣言し、4つを同格で列記しました。材料Bで5回中3回出ていた食い違いは消えました。

同じ言い方を、格下げが出た材料Aでも確かめました。

次の文章で、文末表現が不自然に連続している箇所をすべて洗い出してください。見つかった箇所の総数を、回答の最初に明記してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。当番は月曜から金曜まで、1日ずつ交代で担当します。担当の順番は五十音順です。休んだ場合は翌週に繰り越します。道具は給湯室の棚にまとめてあります。今回の変更で、作業時間も短くなると思います。午前中に済ませたほうが楽だと思います。慣れれば5分程度で終わると思います。雑巾は使ったら、洗って干しておいてください。スプレーのつけ替えは総務へ一声かけること。鍵は守衛室で借りるようにしてください。忘れ物は週末にまとめて片付けます。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。掃除用のスプレーは共用のものを使います。終わったらチェック表に印を付けてください。椅子は机の下にしまうこと。電気はブレーカーごと確認してください。来月からは当番表を掲示板にも貼る次第です。連絡はチャットでも行う次第です。質問は当番リーダーに聞く次第です。新しい担当者には個別に説明します。不明点は月初のミーティングで共有してください。引き続きよろしくお願いします。

3回とも「4箇所」と正しく宣言しました。材料Aで5回中1回出ていた格下げも、この言い方では再現しませんでした。

念のため、材料Bで総数を最後に明記させる言い方も試しました。

次の文章で、文末表現が不自然に連続している箇所をすべて洗い出してください。見つかった箇所の総数は、最後にまとめて明記してください。 来月から備品発注の担当をあなたに引き継ぎます。発注書は毎月25日までに提出するとよいでしょう。在庫が少ない品目は早めに注文したほうがよいでしょう。急な欠品は業者に直接連絡するとよいでしょう。発注先の一覧は共有フォルダに置いてあります。見積もりは2社以上から取ってください。支払いは月末締めの翌月払いです。承認は部長の決裁が必要です。今回から発注フォームを簡略化できると思います。これで入力の手間も減ると思います。ミスも少なくなると思います。新しいフォームのリンクはメールで送ります。旧フォームは今月末で使えなくなります。質問があれば総務課に聞いてください。マニュアルは社内wikiに置いてあります。消耗品は在庫表で毎週確認するのです。文房具は各部署からの申請を集めるのです。大型の備品は別の承認フローを通すのです。配送は週2回、火曜と金曜です。受け取りは受付で対応します。破損品はすぐに写真を撮っておいてください。返品の連絡は発注書の番号を伝えてください。来月からは発注の承認もオンラインで行う次第です。紙の申請書は廃止する次第です。印鑑も不要になる次第です。引き継ぎ資料は別途お送りします。不明な点はいつでも聞いてください。よろしくお願いします。

3回とも「4箇所」と正しく宣言しました。3回とも、回答の冒頭でもすでに「以下の4箇所です」と書いていて、頼んだとおり最後にも総数をもう一度まとめていました。→ 前作と同じく、効いているのは「先に」でも「最後に」でもなく、「総数を数字で明記させる」という指示そのものです。材料A・B合計11回で、この言い方は一度も食い違いませんでした。

応用・次の一手

パターンの数が増えても、「総数を明記させる」の一言はそのまま効きます。見出しの数字をどうしても信用できないときの、自分での見直し方も聞いておきました。

AIに「下書きの中で文末表現が不自然に連続している箇所を指摘して」と頼むと、見出しで言った件数(たとえば「3か所あります」)と、実際に列挙した件数(本文の番号付きリストの項目数)が食い違うことがあります。これを自分で見落とさずに確認するコツを教えてください。プログラミングはできません。

2回試したところ、どちらも同じ方向の答えでした。

  • 見出しの数字は信用せず、本文の番号付きリストを指でなぞって数え直す
  • 「見出しの数」と「数えた数」を並べて書き、一致するか照合する
  • 1回目は「食い違いがあればAIに聞き返す」を提案
  • 2回目は「最初から件数を言わせず、列挙だけさせる」という、本記事の直し方とは逆方向の工夫も提案

副業のライティングで文体・検品を扱う他の記事として、誤字と冗長さだけ直させて言い回しには触らせない記事も参考にしてください。

⚠️ この結果は、架空の下書き2本・計23回(素朴な指示10回・総数を明記させる指示11回・応用2回)での実測です。「4パターンに増やすと必ず数字がズレる」と一般化しないでください。試したのは、次の範囲までです。

  • 文末パターンは「〜でしょう」「〜と思います」「〜のです」「〜という次第です」の4種のみです。5つ以上に増やした場合は試していません
  • 1本の下書きの長さは28文です。もっと長い文書・複数ファイルに分けた場合は試していません
  • 材料は2本のみです。材料Bで出た「本文は無傷で数字だけ誤る」崩れ方が、他の材料でも同じ比率で出るかは確かめていません

今回の生の返りは docs/evidence/headline-count-slips-at-four-patterns.md に全文置いてあります。