これで何ができるか

前の記事までは「AIが書いたような文章ではなく人間らしい文章に書き直して」という書き直しの頼み方を実測してきました。今回は頼み方を変え、指摘だけさせて自分で直す場面を調べます。この頼み方なら、直す前に何がどこにあるかを自分の目で確かめられます。今回は1本の下書きに、別々の文末パターンを複数仕込みました。「書き直して」ではなく「指摘して」と頼んだときに、両方(または全部)が同格に扱われるかを調べます。

結論を先に書きます。

条件 見出しの数が実際と一致した回数
文末パターンが2つ(隣接) 5/5
文末パターンが2つ(14文に分けて配置) 5/5
文末パターンが3つ 2/5
3つ・総数を先に明記させる 5/5
3つ・総数を最後に明記させる 3/3

文末パターンが2つまでなら、「指摘して」と素朴に頼むだけで見出しの数は5回とも実際と一致しました。パターンを3つに増やすと崩れます。見出しは5回中3回「2か所あります」と少なく数えました。3つ目は本文の末尾に、軽い言葉で添えられるだけでした。総数を先または最後に明記させる言い方に変えると、5回・3回とも正しく「3か所」に戻りました。

文末パターンの「見出しで示した数」が実際のパターン数と一致した回数を示す表。2パターン・隣接8文の素朴な指示は5/5一致。2パターン・14文に分散させた素朴な指示も5/5一致。3パターンに増やした素朴な指示は2/5まで落ちる。3パターンで総数を先に明記させる言い方は5/5一致、総数を最後に明記させる言い方は3/3一致。下の枠には、2パターンまでは素朴な指示でも見出しの数が5回とも実際の数と一致したこと、3パターンに増えると素朴な指示は5回中3回「2か所」と少なく数え、3つ目は本文に書かれるだけだったことが書かれている。
2パターンは5回とも一致。3パターンに増えると、素朴な指示は2回しか一致しませんでした。

前提

かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 直したい文章(下書き)1本
プログラミング 不要。この記事の指示文をコピーして貼るだけです

発注者の原稿や実在の人物が書いた文章は、そのまま貼らないでください。この記事は架空の下書きを使っています。実在の人物・団体とは関係ありません。

この記事は前の記事・その前の記事の続編です。先行2本は「書き直して」の実測で、文末パターンは1本の下書きに1種類だけでした。AI生成文章の検品という副業区分については禁止語リストの記事、発注前の内容確認は発注書どおりに検品する記事も参考にしてください。

この実測には、このサイト(ai-tsukaikata)のプロジェクトを動かしている環境の文脈が一部伝わっています。「素のAIは必ずこう返す」とは一般化せず、ここに書いた数字(n回中n回)だけを根拠にしてください。

AIへの頼み方

1. 2つのパターンが別の場所にある下書きで試す

清掃当番の引き継ぎメモを想定しました。前半に文末パターンA(「〜でしょう」)を3文連続、後半に別パターンB(「〜のです」)を3文連続仕込みました。

次の文章で、文末表現が不自然に連続している箇所があれば指摘してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。掃除の順番は入口から机、床の順に進めてください。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。

5回試した結果です。

回 指摘した箇所
1〜5回目 「でしょう」の3連続・「のです」の3連続の両方を、同じ重みで指摘

5回とも、2つのパターンを同格で指摘しました。どちらかだけを拾って終わった回はありません。

2. 文書を長くしても、2つなら崩れないか

同じ2パターンを、間に8文の無関係な業務連絡(担当順・道具の場所など)を挟んだ、合計14文の下書きに広げて試しました。

次の文章で、文末表現が不自然に連続している箇所があれば指摘してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。当番は月曜から金曜まで、1日ずつ交代で担当します。担当の順番は五十音順です。休んだ場合は翌週に繰り越します。道具は給湯室の棚にまとめてあります。雑巾は使ったら、洗って干しておいてください。スプレーのつけ替えは総務へ一声かけること。掃除の順番は、入口・机・床の順に進めてください。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。

5回とも、やはり2つのパターンを同格で指摘しました。文書が長くなっても、間にある関係ない8文に気を取られて片方を見落とす、という崩れ方は起きませんでした。

3. パターンを3つに増やすと、見出しの数が合わなくなる

2つなら崩れないので、パターンを3つに増やしました。文末は「〜でしょう」「〜と思います」「〜のです」の3種で、間にそれぞれ4文ずつ無関係な業務連絡を挟んだ、18文の下書きで試しました。

次の文章で、文末表現が不自然に連続している箇所があれば指摘してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。当番は月曜から金曜まで、1日ずつ交代で担当します。担当の順番は五十音順です。休んだ場合は翌週に繰り越します。道具は給湯室の棚にまとめてあります。今回の変更で、作業時間も短くなると思います。午前中に済ませたほうが楽だと思います。慣れれば5分程度で終わると思います。雑巾は使ったら、洗って干しておいてください。スプレーのつけ替えは総務へ一声かけること。鍵は守衛室で借りるようにしてください。忘れ物は週末にまとめて片付けます。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。

5回の見出し(回答の冒頭)はこうなりました。

回 見出しが言った件数 本文に3つとも出てきたか
1回目 件数は明言せず、3つを同格で列記 出てきた
2回目 件数は明言せず、3つを同格で列記 出てきた
3回目 「主に2か所」 出てきたが「やや軽微」と格下げ
4回目 「以下の2つです」 出てきたが追記扱い
5回目 「2か所指摘します」 出てきたが「目立ちません」と格下げ

3回(3・4・5回目)は見出しで「2か所」と言い切り、3つ目の「〜と思います」は本文の末尾に軽い言葉で添えられるだけでした。5回目の本文はこう書いています。

なお中盤の「〜と思います」が3文(「短くなると思います」「楽だと思います」「終わると思います」)でやや続きますが、間に他の文が挟まっているため上記2箇所よりは目立ちません。

材料を見直すと、この3文(9〜11文目)は連続していて、間に挟まる文はありません。「間に他の文が挟まっている」という根拠そのものが、材料の実際の並びと食い違っています。

文末パターン3つ(でしょう・と思います・のです)が、材料の中ではそれぞれ3文連続している実際の並びと、AIの返り(トライアル5)が見出しで「2か所」と少なく数え、3つ目(と思います)について「間に他の文が挟まっているため目立たない」と書いた箇所を並べた図。材料の実際の並びは、でしょうが2〜4文目・と思いますが9〜11文目・のですが16〜18文目で、いずれも3文が連続しており間に他の文は無い。下の枠には、「間に他の文が挟まっている」という返りの根拠は誤りで、と思いますの3文は材料の中で連続していたこと、本文にはと思いますへの言及自体はあり、見出しの数と同格の扱いのほうだけが消えたことが書かれている。
3つ目は本文には出てきますが、見出しの数からは漏れ、添える根拠まで材料と食い違いました。

なぜ、3つに増えると見出しが合わなくなるのか

2パターンまでは、見出しに「2か所」と書くこと自体が本文の列挙と一致します。3パターンに増えると、順番が変わるようです。見出しは「目立つ2つ」を先に数え、3つ目は本文を書き進める途中で見つけて追記しています。追記された3つ目は見出しの数には反映されず、「軽微」「目立たない」という言葉で格下げされました。5回目のように、格下げの理由そのものが材料と食い違う場合もありました。

うまくいかないときの言い直し方

3つ目も同格に数えさせるには

総数を先に明記させる言い方を試しました。

次の文章で、文末表現が不自然に連続している箇所をすべて洗い出してください。見つかった箇所の総数を、回答の最初に明記してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。当番は月曜から金曜まで、1日ずつ交代で担当します。担当の順番は五十音順です。休んだ場合は翌週に繰り越します。道具は給湯室の棚にまとめてあります。今回の変更で、作業時間も短くなると思います。午前中に済ませたほうが楽だと思います。慣れれば5分程度で終わると思います。雑巾は使ったら、洗って干しておいてください。スプレーのつけ替えは総務へ一声かけること。鍵は守衛室で借りるようにしてください。忘れ物は週末にまとめて片付けます。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。

5回とも「総数:3箇所」と正しく宣言し、3つを同格で列記しました。格下げの言葉も、間違った根拠も出てきませんでした。

総数を回答の最後に書かせる言い方も、念のため試しました。

次の文章で、文末表現が不自然に連続している箇所をすべて洗い出してください。見つかった箇所の総数は、最後にまとめて明記してください。 今月から清掃当番のやり方を少し変更します。新しい担当表は来週から適用されるでしょう。初めての方は戸惑うこともあるでしょう。分からないことがあれば先輩に聞くとよいでしょう。当番は月曜から金曜まで、1日ずつ交代で担当します。担当の順番は五十音順です。休んだ場合は翌週に繰り越します。道具は給湯室の棚にまとめてあります。今回の変更で、作業時間も短くなると思います。午前中に済ませたほうが楽だと思います。慣れれば5分程度で終わると思います。雑巾は使ったら、洗って干しておいてください。スプレーのつけ替えは総務へ一声かけること。鍵は守衛室で借りるようにしてください。忘れ物は週末にまとめて片付けます。ゴミ袋がいっぱいになったら新しいものに交換するのです。拭き掃除には乾いた布を使うのです。最後に窓を少し開けて換気をするのです。

3回とも「3箇所」と正しく宣言しました。面白いことに、3回とも回答の冒頭でもすでに「以下の3箇所です」と書いていて、頼んだとおり最後にも総数をもう一度まとめていました。→ 効いているのは「先に」でも「最後に」でもなく、「総数を数字で明記させる」という指示そのものです。

応用・次の一手

パターンが2つまでなら、素朴に「指摘して」と頼むだけで十分です。3つ以上のパターンを疑う場面もあります。長い下書きや、複数の発注者から受け取った文章をまとめて検品する場面です。そのときは「見つかった総数を明記してください」の一文を足すことをおすすめします。

見出しの数を鵜呑みにせず自分で見直す手順も、合わせて聞いておきました。

AIに「下書きの中で文末表現が不自然に連続している箇所を指摘して」と頼むと、見出しで言った件数(たとえば「2か所あります」)と、本文に実際に挙げている件数が食い違うことがあります。これを自分で見落とさずに確認するコツを教えてください。プログラミングはできません。

2回試したところ、どちらも同じコツを含んでいました。

  • 見出しの数字は信用せず、本文の列挙だけを自分で数え直す
  • 本文で挙げられた引用部分を、元の下書きに戻って1つずつ照合する
  • 「本文で実際に列挙した箇所は何か所か」と聞き直し、見出しの数字を再利用させずに数えさせる

2回とも、頼み方を変える工夫も提案していました。

  • 1回目:「下書きの文末を自分でも拾い読みしてから、AIの指摘と比べる」
  • 2回目:「見出しには件数を書かず、箇条書きの最後にだけ『計〇件』と書かせる」

これは今回見つけた「総数を明記させる」の言い直し方と同じ方向です。

副業のライティングで文体・検品を扱う他の記事として、誤字と冗長さだけ直させて言い回しには触らせない記事も参考にしてください。

⚠️ この結果は、架空の下書き3本・計23回(素朴な指示15回・総数を明記させる指示8回)での実測です。「見出しの数は3つ以上で必ずズレる」と一般化しないでください。試したのは、次の範囲までです。

  • 文末パターンは「〜でしょう」「〜と思います」「〜のです」の3種のみです。他の組み合わせは試していません
  • パターンの数は2つと3つのみです。4つ以上に増やした場合は試していません
  • 1本の下書きの長さは最大18文です。もっと長い文書・複数ファイルに分けた場合は試していません

今回の生の返りは docs/evidence/other-patterns-get-named-but-not-counted.md に全文置いてあります。