これで何ができるか

先行記事「タイトル案100個は実質35個」は、1回ずつの比較で結果を出しました。素朴に「100個出して」と頼むと密度は35〜36%。切り口を先に割ってから頼むと86%でした。この記事は、その1回を同じ2テーマでさらに11回繰り返した記録です。

先に結果を書きます。方向は変わりませんでした。切り口方式の平均密度は83%、素朴方式は48%で、切り口のほうが濃いという結論は崩れません。ただし1回ずつの値には大きな幅がありました。素朴方式の最高（67%）が、切り口方式の最低（58%）を上回る帯があります。

切り口を割る方式（濃い色）と素朴に「100個出して」と頼む方式（薄い色）の、実質の種類数÷件数（%）を、架空のnote記事テーマとKindle本テーマで計14回試した結果を昇順に並べた横棒グラフ。素朴方式は35%・36%・43%・44.4%・46.5%・52.5%・59%・67%の8回で、切り口方式は58%・84%・86%・86%・92%・94%の6回。58%から67%の帯では、切り口方式の最低値（58%）が素朴方式の最高値（67%）より低く、両方式が重なっている。下の注記には、1回だけの比較だと運が悪いと逆の結果が出ることが書かれている。
濃い帯では、切り口方式と素朴方式が重なっています。

もう一つ分かったことがあります。AI自身に「実質何種類か」を数えさせる精度は、聞き方で大きく変わりました。

AIに「実質何種類か」を数えさせたときの自己申告と、difflibによる機械判定を比べた図。「2回ぶんを比べて数えさせた」場合、自己申告は62〜65（中央値62.5）、機械判定は58件で、近い数字だった。「1回ぶんだけを自分で見直させた」場合、自己申告は5、機械判定は43件で、自己申告は作らせたときの切り口の数（5つ）をそのまま答えただけで、実際の種類数とは大きくかけ離れていた。下の注記には、2回を比べさせると近い数字が出たが、1回だけの見直しは切り口の数で止まったことが書かれている。
聞き方を変えるだけで、自己申告のずれ方が変わりました。

前提
かかる時間 15分
費用 無料。ブラウザのチャットAIで足ります
必要なもの 先行記事を読んでいるとスムーズです
プログラミング 不要。指示文をコピーして貼るだけです

この記事は先行記事の追試です。実測に使った架空テーマと、クラスタリングの判定コードはdocs/evidence/title-brainstorm-density-does-not-hold-across-repeats.mdに全文あります。

AIへの頼み方

1. 素朴に「100個出して」を、同じテーマで何度も試す

在宅勤務で集中力を保つ工夫について書いたnote記事の、売れるタイトル案を100個出してください。1行に1案ずつ書いてください。

先行記事はこの指示文を1回試して密度35%でした。同じ指示文を3回追加で試すと、44.4%・52.5%・59.0%でした。素朴方式の先行記事での35%は、たまたま低いほうの回だったことになります。

2. テーマを変えても試す

初心者向けスマホ料理写真の撮り方についてのKindle本の、売れるタイトル案を100個出してください。1行に1案ずつ書いてください。

Kindle本テーマでも同じことが起きました。先行記事の1回（36%）に対し、追加の3回は43.0%・46.5%・67.0%でした。同じ指示文・同じテーマで、最低と最高の差が24ポイントあります。

3. 切り口を割る頼み方も、同じテーマで何度も試す

在宅勤務で集中力を保つ工夫について書いたnote記事のタイトル案がほしいです。まず次の5つの切り口で、1つずつ案を考えてください。 1. 数字訴求(「3つの」「7つの」のように具体的な数を見せる) 2. 疑問形(「〜なのか」で終わる) 3. 体験談(「私が」で始める) 4. 警告・逆説(常識と違うことを言う) 5. 比較(2つのものを比べる) 切り口が決まったら、それぞれの切り口で10案ずつ、合計50案出してください。どの案がどの切り口か、見出しを付けて分けてください。

先行記事の1回は86%でした。追加の2回は58.0%・84.0%です。切り口方式も1回では決まりません。58%の回は、素朴方式の中で一番高かった67%より低い数字です。

4. テーマを変えても試す

初心者向けスマホ料理写真の撮り方についてのKindle本のタイトル案がほしいです。まず次の5つの切り口で、1つずつ案を考えてください。 1. 数字訴求(「3つの」「7つの」のように具体的な数を見せる) 2. 疑問形(「〜なのか」で終わる) 3. 体験談(「私が」で始める) 4. 警告・逆説(常識と違うことを言う) 5. 比較(2つのものを比べる) 切り口が決まったら、それぞれの切り口で10案ずつ、合計50案出してください。どの案がどの切り口か、見出しを付けて分けてください。

Kindle本テーマでは3回とも86.0%・92.0%・94.0%でした。noteテーマほど値が散らばりません。再現の安定度はテーマによって違います。Kindle本テーマのように安定する場合もあれば、noteテーマのように58〜86%まで広がる場合もあります。

計14回を並べた表がこちらです。

方式 テーマ 密度の範囲 回数
素朴 note・Kindle 35.0%〜67.0% 8回
切り口 note・Kindle 58.0%〜94.0% 6回

平均は素朴48.0%・切り口83.3%です。「切り口を割ったほうが濃い」という向きは、6回繰り返しても崩れませんでした。崩れたのは「1回の比較をそのまま信じていい」という前提のほうです。

うまくいかないときの言い直し方

AI自身に「実質何種類か」を数えさせたら、数字が信用できるか分からない

まとめさせて数えさせる頼み方自体は、先行記事にも載っています。ただし、聞き方によって精度が大きく変わることが分かりました。

いま出した50件のタイトル案を、言い回しが似ているものどうしでまとめてください。まとめたあと、実質何種類になったか数字で書いてください。

この聞き方で返ってきた答えは「実質5種類」でした。機械で数えた本当の種類数は43件です。実際の9割近くを見落としています。AIは、自分が作った5つの切り口の見出し数をそのまま返しただけで、見出しの中にある9〜10件それぞれの違いを見ていませんでした。

下の【1回目】と【2回目】は、同じテーマで別々に出したタイトル案50件ずつです。2回を比べて、発想がどれだけ重複しているか、実質何種類の発想があるかを数字で教えてください。

こちらは「60〜65種類」という答えが返り、機械判定の58件に近い数字でした。比較する相手を2つ並べて渡すほうが、1つだけを見直すよりも当てになります。それでも、自己申告だけで終わらせず、機械やコードで裏取りしてください。今回は近い数字が出ましたが、必ず当たるとは限りません。

応用・次の一手

件数をもっと増やしたいとき、同じ5つの切り口をもう一度頼むより効く方法があります。

前回使った5つの切り口（数字訴求・疑問形・体験談・警告逆説・比較）は使わずに、別の5つの切り口を考えてから、同じように10案ずつ、合計50案出してください。

試したところ、比喩・ターゲット特化・ビフォーアフター・時短・権威訴求という新しい5つの切り口が返り、もとの50件とクラスタレベルで重なったのは100件中1件だけでした。同じ切り口を繰り返すより、別の切り口を頼むほうが新しい発想が増えます。

この記事の主役は密度の数字でしたが、件数を多く頼むと後半が薄くなるという土台の性質自体は、同じ処理を複数の対象にまとめて頼むでも共通しています。まとめて頼むときは、常に「本当に何種類あるか」を自分の目か、コードで確かめてください。