これで何ができるか
前の記事までは「AIが書いたような文章ではなく人間らしい文章に書き直して」という書き直しの頼み方を実測してきました。今回は頼み方を変え、指摘だけさせて自分で直す場面を調べます。この頼み方なら、直す前に何がどこにあるかを自分の目で確かめられます。今回は1本の下書きに、別々の文末パターンを複数仕込みました。「書き直して」ではなく「指摘して」と頼んだときに、両方(または全部)が同格に扱われるかを調べます。
結論を先に書きます。
| 条件 | 見出しの数が実際と一致した回数 |
|---|---|
| 文末パターンが2つ(隣接) | 5/5 |
| 文末パターンが2つ(14文に分けて配置) | 5/5 |
| 文末パターンが3つ | 2/5 |
| 3つ・総数を先に明記させる | 5/5 |
| 3つ・総数を最後に明記させる | 3/3 |
文末パターンが2つまでなら、「指摘して」と素朴に頼むだけで見出しの数は5回とも実際と一致しました。パターンを3つに増やすと崩れます。見出しは5回中3回「2か所あります」と少なく数えました。3つ目は本文の末尾に、軽い言葉で添えられるだけでした。総数を先または最後に明記させる言い方に変えると、5回・3回とも正しく「3か所」に戻りました。
前提
| かかる時間 | 15分 |
| 費用 | 無料。ブラウザのチャットAIで足ります |
| 必要なもの | 直したい文章(下書き)1本 |
| プログラミング | 不要。この記事の指示文をコピーして貼るだけです |
発注者の原稿や実在の人物が書いた文章は、そのまま貼らないでください。この記事は架空の下書きを使っています。実在の人物・団体とは関係ありません。
この記事は前の記事・その前の記事の続編です。先行2本は「書き直して」の実測で、文末パターンは1本の下書きに1種類だけでした。AI生成文章の検品という副業区分については禁止語リストの記事、発注前の内容確認は発注書どおりに検品する記事も参考にしてください。
この実測には、このサイト(ai-tsukaikata)のプロジェクトを動かしている環境の文脈が一部伝わっています。「素のAIは必ずこう返す」とは一般化せず、ここに書いた数字(n回中n回)だけを根拠にしてください。
AIへの頼み方
1. 2つのパターンが別の場所にある下書きで試す
清掃当番の引き継ぎメモを想定しました。前半に文末パターンA(「〜でしょう」)を3文連続、後半に別パターンB(「〜のです」)を3文連続仕込みました。
5回試した結果です。
| 回 | 指摘した箇所 |
|---|---|
| 1〜5回目 | 「でしょう」の3連続・「のです」の3連続の両方を、同じ重みで指摘 |
5回とも、2つのパターンを同格で指摘しました。どちらかだけを拾って終わった回はありません。
2. 文書を長くしても、2つなら崩れないか
同じ2パターンを、間に8文の無関係な業務連絡(担当順・道具の場所など)を挟んだ、合計14文の下書きに広げて試しました。
5回とも、やはり2つのパターンを同格で指摘しました。文書が長くなっても、間にある関係ない8文に気を取られて片方を見落とす、という崩れ方は起きませんでした。
3. パターンを3つに増やすと、見出しの数が合わなくなる
2つなら崩れないので、パターンを3つに増やしました。文末は「〜でしょう」「〜と思います」「〜のです」の3種で、間にそれぞれ4文ずつ無関係な業務連絡を挟んだ、18文の下書きで試しました。
5回の見出し(回答の冒頭)はこうなりました。
| 回 | 見出しが言った件数 | 本文に3つとも出てきたか |
|---|---|---|
| 1回目 | 件数は明言せず、3つを同格で列記 | 出てきた |
| 2回目 | 件数は明言せず、3つを同格で列記 | 出てきた |
| 3回目 | 「主に2か所」 | 出てきたが「やや軽微」と格下げ |
| 4回目 | 「以下の2つです」 | 出てきたが追記扱い |
| 5回目 | 「2か所指摘します」 | 出てきたが「目立ちません」と格下げ |
3回(3・4・5回目)は見出しで「2か所」と言い切り、3つ目の「〜と思います」は本文の末尾に軽い言葉で添えられるだけでした。5回目の本文はこう書いています。
なお中盤の「〜と思います」が3文(「短くなると思います」「楽だと思います」「終わると思います」)でやや続きますが、間に他の文が挟まっているため上記2箇所よりは目立ちません。
材料を見直すと、この3文(9〜11文目)は連続していて、間に挟まる文はありません。「間に他の文が挟まっている」という根拠そのものが、材料の実際の並びと食い違っています。
なぜ、3つに増えると見出しが合わなくなるのか
2パターンまでは、見出しに「2か所」と書くこと自体が本文の列挙と一致します。3パターンに増えると、順番が変わるようです。見出しは「目立つ2つ」を先に数え、3つ目は本文を書き進める途中で見つけて追記しています。追記された3つ目は見出しの数には反映されず、「軽微」「目立たない」という言葉で格下げされました。5回目のように、格下げの理由そのものが材料と食い違う場合もありました。
うまくいかないときの言い直し方
3つ目も同格に数えさせるには
総数を先に明記させる言い方を試しました。
5回とも「総数:3箇所」と正しく宣言し、3つを同格で列記しました。格下げの言葉も、間違った根拠も出てきませんでした。
総数を回答の最後に書かせる言い方も、念のため試しました。
3回とも「3箇所」と正しく宣言しました。面白いことに、3回とも回答の冒頭でもすでに「以下の3箇所です」と書いていて、頼んだとおり最後にも総数をもう一度まとめていました。→ 効いているのは「先に」でも「最後に」でもなく、「総数を数字で明記させる」という指示そのものです。
応用・次の一手
パターンが2つまでなら、素朴に「指摘して」と頼むだけで十分です。3つ以上のパターンを疑う場面もあります。長い下書きや、複数の発注者から受け取った文章をまとめて検品する場面です。そのときは「見つかった総数を明記してください」の一文を足すことをおすすめします。
見出しの数を鵜呑みにせず自分で見直す手順も、合わせて聞いておきました。
2回試したところ、どちらも同じコツを含んでいました。
- 見出しの数字は信用せず、本文の列挙だけを自分で数え直す
- 本文で挙げられた引用部分を、元の下書きに戻って1つずつ照合する
- 「本文で実際に列挙した箇所は何か所か」と聞き直し、見出しの数字を再利用させずに数えさせる
2回とも、頼み方を変える工夫も提案していました。
- 1回目:「下書きの文末を自分でも拾い読みしてから、AIの指摘と比べる」
- 2回目:「見出しには件数を書かず、箇条書きの最後にだけ『計〇件』と書かせる」
これは今回見つけた「総数を明記させる」の言い直し方と同じ方向です。
副業のライティングで文体・検品を扱う他の記事として、誤字と冗長さだけ直させて言い回しには触らせない記事も参考にしてください。
⚠️ この結果は、架空の下書き3本・計23回(素朴な指示15回・総数を明記させる指示8回)での実測です。「見出しの数は3つ以上で必ずズレる」と一般化しないでください。試したのは、次の範囲までです。
- 文末パターンは「〜でしょう」「〜と思います」「〜のです」の3種のみです。他の組み合わせは試していません
- パターンの数は2つと3つのみです。4つ以上に増やした場合は試していません
- 1本の下書きの長さは最大18文です。もっと長い文書・複数ファイルに分けた場合は試していません
今回の生の返りは docs/evidence/other-patterns-get-named-but-not-counted.md に全文置いてあります。