v8を査読し、予想外の結果と採点の異常を見直す

v8を査読し、予想外の結果と採点の異常を見直す

今日は午前中、家族との予定で外出した。戻ると眠気が来たので、いったん昼寝をした。動ける時間は短くなったが、起きたあとはむしろ頭がすっきりした。昼寝を挟んだのは、逆によかったのかもしれない。

その後、v8を40分かけてセルフ査読した。条件と点数を伏せた生データを読み、主張からコード、集計値までを縦にたどり、過去世代の査読結果とも照合した。所見は8件で、すべて処置方針まで決めた。

v8は何を試したのか

v8で確かめたかったのは、家族が強く信じている話題に応じるとき、内容を直接否定するよりも、その信念にどのように至ったかを尋ねる方がよいのかという問いだった。

題材は、架空の家族に伝わる果樹園売却の話である。陰謀論そのものではなく、事実かどうかを確かめられる家族史を使った。信念の起源を尋ねる、もっとも強い証拠を一つ挙げてもらう、反証になる条件を尋ねる、内容を直接反論するといった7種類の応答を、各3家族、合計21家族で比べた。

実験の見取り図

要素	この実験での意味
年長者役	果樹園売却について、家族に伝わる話を信じている人物
応答する家族役	7種類のいずれかの方法で、年長者役へ問いかけたり反論したりする人物
プロセス探究	信念の中身をすぐ否定せず、信じた経緯や証拠の確かめ方を尋ねる応答
自己申告	年長者役自身が、立場や確信度を数値で答える測定
盲検判定	条件名を知らない別の大規模言語モデル（LLM）が会話全体を読み、内省、防衛的な反応、次の行動への合意など10項目を採点する測定
1家族分	同じ条件で独立に生成した1回の実行。各条件の標本数 n=3 は3家族を意味する

実行時の結論は、予想に反していた

v8を実行した時点の考察は、結果をかなり率直に記録していた。

• 盲検判定の値にはばらつきがあり、測定器としては機能した
• しかし、「プロセス探究が直接的な反論より優る」という事前の予想は、ほとんど支持されなかった
• むしろ、内容を直接かつ具体的に反論する方法が、内省や検証への合意をまとめた指標で首位だった
• 「もっとも強い証拠を一つ挙げて」と尋ねる方法は、多くの指標で下位だった

判定上、唯一「方向として支持」とされた比較もあった。複数の問いを穏やかに重ねる方法は、反証を受け入れる姿勢で、反証条件を一度だけ尋ねる方法を上回った。ただし、これは7回の応答と1回の応答の比較でもある。穏やかさが効いたのか、問いかけの回数や情報量が効いたのかを分けられない。

そのため、実行時の考察も、どれか一つを「勝者」とはしていなかった。各条件3家族では、強い実務的な結論を出せないことも明記していた。今回のセルフ査読は、この大枠を現在の結論へ書き換えるのではなく、どこまで残せるか、どこを訂正すべきかを確認する作業になった。

測定器は前進していたが、1件を見逃していた

v7のセルフ査読では、盲検判定の値がほとんど同じ場所へ集まり、条件差を細かく見分けられなかった。v8では、10項目の値が項目ごとに6通りから12通りへ分かれた。少なくとも、数値の細かさは前進していた。

人間の読みとも重なった。私は各条件から1家族ずつ、合計7家族を盲検で読み、7家族すべてに異なる特徴を付けた。条件を開示して照合すると、4件は意図した応答と強く一致し、2件は部分的に一致し、1件は一致しなかった。

また、私は2家族を「もともとの考えを、かえって強く主張するようになった」と読んだ。一方は盲検判定でも防衛的な反応が7家族中もっとも強く、もう一方は次の行動への合意が0で、内省も最下位だった。v6とv7では人間には条件差がほとんど見えなかったため、人間の読解と盲検判定が同じ逆効果例を指したのは今回が初めてだった。

ただし、人間が読んだのは各条件1家族だけで、査読者も私一人である。正式に一致率を測ったわけではない。測定器を信頼してよいと証明したのではなく、妥当性を点検する手がかりが増えた、と捉えている。

一方で、この測定器は異常な採点を1件見逃していた。盲検判定は21家族のうち20件を有効、1件を既定値への切り替え、失敗0件と記録していた。しかし、「有効」とされた20件の中に、10項目すべてが0になった家族が一つあった。

その採点理由には、年長者役が証拠の弱さを率直に振り返り、家族も同意する具体的な確認行動へ進んだ、と書かれていた。説明は肯定的なのに、点数は全項目0だった。原因はまだ分からないが、会話の内容を正しく表した採点とは考えにくい。この日誌では、こうした採点を退化スコアと呼ぶ。

異常な1件を除くと、何が残り、何が崩れたか

全項目0の1家族を除くと、同じ条件の10項目中9項目が0.09から0.24動いた。結論への影響は一様ではなかった。

実行時の読み	異常な1件を除いた後
「もっとも強い証拠」を尋ねる条件は、防衛的な反応が最も少ない	崩れた。 0.217の1位から0.325の5位になり、別の条件の0.225が1位になった
同じ条件は、内省でもほぼ最下位	一部崩れた。 6位から4位へ上がった
同じ条件は、検証への準備と次の行動への合意が最下位	残った。 1件を除いても最下位だった
同じ条件では、挙げられた証拠の具体性が最も低い	残った。 条件差も引き続き明確だった

つまり、計算式が間違っていたのではない。生データから独立に計算し直すと、元の集計値とすべて一致した。問題は、計算へ入る前の採点1件だった。

この1件を理由にv8の結果を全部無効にはしない。一方で、残る結果があるからといって、崩れた順位まで正しいことにもしない。生成レポートには、残る結果と訂正が必要な解釈を分けて追記した。

もっとも明確な条件差は、狙いと逆向きだった

査読で最もはっきりしたのは、「もっとも強い証拠を一つ挙げて」と尋ねた条件で、実際に挙げられた証拠の具体性が最も低かったことである。平均は0.183で、ほかの条件は0.467から0.667だった。狙ったものを直接尋ねたのに、まさにその値が下がっていた。

条件内のばらつきに比べて条件間の違いがどれほど大きいかを示すF値は8.00で、今回の判定境界2.85を超えた。この小さな標本内で条件と対応したばらつきの割合を示す効果量は η²=0.787 だった。どちらも、このシリーズでこれまでに見つかった中では強い値である。全項目0の家族を除いてもF値は6.59となり、差そのものは残った。

この結果は、実行時の考察では十分に言葉にされていなかったため、生成レポートへ追記した。ただし、なぜ直接尋ねると具体性が下がったのかは分からない。問いかけが弁明を促した可能性などは考えられるが、今回のデータだけで原因とは言えない。

「何を尋ねるか」より、「どう尋ねるか」かもしれない

盲検読解を終えたとき、私は「ソフト寄りのコミュニケーションのほうが、対話の窓は閉じない感じがする」と書いた。

歩み寄りや柔らかさを感じた3家族では、次の行動への合意が0.90、1.00、0.90だった。強めの批判と読んだ1家族では0.50だった。この対応は、私の読みと盲検判定で同じ方向を向いている。

ただし、v8で条件として変えたのは、信念の起源、もっとも強い証拠、バイアス、反証条件など、何を尋ねるかだった。どれくらい柔らかく尋ねるかは、条件としてそろえていない。したがって、「柔らかい応答が効いた」とはまだ言えない。次の実験で独立に確かめる仮説として残す。

まだ残る測定上の宿題

今回の査読では、ほかにも三つの宿題が残った。

• 退化スコアの検出: 全項目が同じ値になった採点を、そのまま有効として通さず、採点理由と数値が矛盾していないか確認する
• 自己申告への入力: 年長者役の最終的な自己申告には、直前までの会話も現在状態も渡されていなかった。さらに2人分では最終評価の文章が空で、前の段階の値がそのまま持ち越されていた
• 操作チェックの単位: 実行時の考察は、発話1回を1文書として比べた古い検査を根拠に、質問の演じ分けへ慎重な注意書きを付けていた。しかし、1家族の介入全体を1文書にそろえると、条件は偶然水準の3倍で区別できた。今回の人間査読でも、古い検査が区別できないとした4条件のうち3条件を言い当てた

古い注意書きは削除しなかった。報告当時に分かっていたこととして残し、その直後へ、集計単位を直した結果と今回の人間読解を追記した。後から分かったことだけで過去の記録を塗り替えず、訂正を並べて読めるようにした。

査読を終えて

v8のセルフ査読そのものは完了した。8件の所見には処置を付け、生成レポートで直せる開示は反映した。

今回いちばん大きかったのは、v8を「プロセス探究が効かなかった実験」の一言で終わらせずに済んだことだと思う。測定器はv7より前進し、人間の読みとも一部で重なった。その一方で、有効とされた採点にも異常は潜み、一つの異常値が順位の説明を変えていた。そして、実験で用意した「質問の種類」とは別に、「質問の柔らかさ」という次の軸も見えてきた。

採点の退化検出、自己申告の入力修正、「柔らかさ」を独立した条件にする設計は、後続世代の課題として残っている。そのため、この日誌は芽の段階（seed）とする。

ここで観察したのは、LLMが家族の役を演じたシミュレーションである。人間の家族に同じ質問をしたときの効果を示すものではない。各条件は3家族、人間の読解は各条件1家族に限られる。盲検判定が既定値へ切り替わった1件を含む条件では、有効な点数は2家族分しかない。測定器が前進したことと、人間へ使える介入が分かったことは別である。

一次情報源

• 著者によるv8実行時の考察（2026-07-08）
• 著者によるv8セルフ査読メモ（2026-08-29）
• 著者による当日の作業リズムについての振り返り（2026-08-29）
• geeknees/conspiracy_family_transmission
• v7のセルフ査読日誌
• v6のセルフ査読日誌
• v4のセルフ査読日誌