v6を査読し、演じ分けと結果の変化を切り分ける

v6を査読し、演じ分けと結果の変化を切り分ける

v5aのセルフ査読では、陰謀的説明の送り手役が成立せず、部分採用の指標が説明への受容より家族への信頼を読んでいた可能性を確認した。v6はそこから題材を変え、架空の家族史をめぐる主張へ、8種類の応答手続きを試した実験である。各手続きにつき3家族、合計24家族を生成した。

この実験は陰謀的信念の解決を直接扱わない。主張を「検証可能だが未確定」のままにし、関係を守りながら次の確認行動へ進める応答を探している。研究線の中心から一歩外れた代わりに、日常的な題材なら登場人物と会話が成立するかを確かめる対照にもなった。

今回、私は40分のセルフ査読を完了した。条件名とスコアを伏せて生データを読み、その後に主張、判定コード、結果指標、生データを縦にたどった。所見は13件あり、すべて処置方針まで記録した。

この記事で使う用語

• 応答手続き: 家族から主張を聞いた成人した子ども役が、証拠を一つに絞る、主張と関係を分ける、第三者資料を確認する、といった異なる応じ方
• 操作チェック: 指示した応答手続きの違いが、実際の会話にも現れたかを確かめる検査
• 自己申告層: 登場人物役が最後に自分の態度を数値で答える測定。v6では、この回答を作るターンに直前までの会話が渡されていなかった
• 独立判定層: 条件名を知らない別のLLMが会話全体を読み、話題の絞り込み、次の行動への合意、主張の拡大、防衛的な反応、会話の修復を採点する測定
• 条件効果: 8種類の応答手続きの違いによって、結果指標のばらつきを説明できること
• レプリケート: 同じ条件で独立に生成した1家族分の実行。今回の n=3 は、各手続きにつき3家族を比べたことを指す
• 交絡: 確かめたい違いとは別の要因が結果へ混ざり、どちらの影響かを分けられなくなること
• 相関係数（r）: 二つの値が一緒に動く向きと強さを、-1から1で表す値。0に近いほど直線的な対応が弱い
• 効果量（η²）: 観測値のばらつきのうち、条件の違いで説明される割合

介入の違いは見えたが、信念が動いた感覚はなかった

私は、各手続きから1家族ずつ選んだ8家族を盲検で読んだ。8家族すべてに異なる特徴を感じた。たとえば、問いかけが目立つ会話、対立的な会話、積極的な働きかけが見えない会話を区別でき、条件名を開示した後の手続き定義とも対応した。形式的な操作チェックでも、v6の手続きは偶然水準を上回って区別されていた。

一方、介入によって信念が変わったという感覚はなかった。私が査読直後に書いた要約でも、「介入のスタイルの違いは見えた」と「介入によって信念が変わった感覚はなかった」が並んだ。これは矛盾ではない。手続きどおりに演じ分けられたことと、その手続きが結果を変えたことは別の問いである。

送り手役については、8家族すべてで「確信を持った身内として成立している」と判断した。v5aでは同じ査読者による6家族すべての判定が不成立だった。少なくとも今回の対比からは、LLMが確信を持った人物をまったく演じられないのではなく、陰謀論という題材が役柄の成立を難しくしていた可能性が高い。非陰謀の家族史へ移した設計変更は、この点では機能したと考えている。

ただし、これは研究上のトレードオフでもある。送り手役が自然になった代わりに、v6が直接測る対象は陰謀論の家族内伝搬ではなくなった。

独立判定器は前進したが、測定の穴は残った

v6は、会話全体を読む独立判定器が実際に機能した最初の世代だった。24家族すべてを有効に採点し、5指標の組み合わせは22通りに分かれ、各判定理由も会話固有の内容を参照していた。v4で96家族すべてが同じ既定値になった状態からは、明確な前進である。

しかし、同じレポート内でも指標の妥当性は一様ではなかった。

報告上の仮説	中心指標	測定層	査読で分かったこと
H2	配偶者役が家族の主張から距離を取れた度合い	自己申告	会話を見ない最終ターンから生成され、独立判定の5指標との相関も基準を超えなかった
H4	主張が広がらず限定された度合い	独立判定	会話全体を読んでいるが、支持判定は1家族分の最小差に依存した

自己申告だからすべて無効、と一括するのも正確ではない。家族から孤立する危険を表す自己申告値は、独立判定のうち主張の拡大と防衛的な反応に、それぞれ r=0.589、r=0.495 の相関を示した。一方、H2の中心指標は5指標のどれとも基準を超えなかった。今後は測定層ではなく、フィールド単位で会話の情報を持っているか確かめる必要がある。

人間の読みでしか見つからない穴もあった。私は8家族すべてに「家族の会話としてはフォーマルすぎる」と感じた。独立判定器の5指標は会話の機能を測っているが、会話の自然さは測っていない。判定器が有効に動いたことと、生態学的な自然さが未測定であることは両立する。

「方向として支持」を、そのまま条件効果とは読めない

レポートではH2とH4が「方向として支持」と判定されていた。しかし、どちらも3家族中1家族の値が1目盛り違ったことに依存していた。とくにH4の条件間差 0.0167 は、0.05刻みの値を3家族で平均するこの設計で表現できる最小の非ゼロ差だった。

そこで、自己申告4指標と独立判定5指標について、複数条件の平均差をまとめて検定する一元配置分散分析を使った。5%水準の判定境界は F(7,16)=2.66 で、9指標すべてがこれを下回った。H4の中心指標は F=0.48、効果量は η²=0.174 で、9指標の中でも条件構造がもっとも弱かった。

この結果から「効果がない」とは言えない。各条件3家族では検出力が低く、差があっても捉えられない可能性がある。言えるのは、この設計には、自ら報告した小さな差を条件効果として検出するだけの分解能がなかったということまでである。そのため、既存の判定ラベルは撤回せず、1家族・1目盛りの差であることと、全体の条件効果を検出できなかったことをレポートへ開示した。

報告されていなかった指標だけが、臨界値を超えた

横断的に指標を確認すると、送り手役の最終的な立場を4段階で表す値だけが F=2.79、η²=0.549 となり、臨界値を超えていた。この指標は計算済みだったが、レポートにも考察にも掲載されていなかった。報告された二つの支持判定が条件効果を検出できない指標に乗る一方、唯一検出された差が未報告だったことになる。

ただし、この値も単純に介入効果とは読めない。送り手役の確信度は、他の家族がまだ応答していない最初のターンで、設定上の初期値 0.82 から平均 0.606 まで下がり、その後はほぼ平坦だった。初期設定とモデルが自己申告しやすい値のずれが、介入前の低下を作っていた可能性が高い。

未報告だった指標はレポートへ追加し、初期値からの低下を介入由来と読めないことも併記した。見つかった差を載せることと、その解釈を留保することは両方必要である。

操作チェック自体の測り方も修正した

v6の操作チェックを進める途中で、検査手法側の交絡も見つかった。手続きによって介入の発話回数が異なるのに、発話1回を1文書として分類していたため、複数回話す条件ほど文書数が増え、ほかの条件の語彙も多く含んでいた。低い正解率が演じ分けの弱さではなく、集計単位の違いを反映していた可能性がある。

集計単位を「1回の発話」から「1家族の介入全体」へそろえて再評価し、過去のv8の判定を訂正した。また、語の出現頻度だけを見る手法では、同じ手続きを逆順に並べたv7の条件を原理的に区別できないと分かった。操作が失敗したのか、検査手法では検証できないのかを分ける必要がある。

査読を終えて残した判断

今回の査読では、欠陥だけでなく、v6で前進した層も明確になった。

• 会話全体を読む独立判定器は機能しており、v4とv5aから改善した
• 非陰謀の題材では送り手役が成立し、応答手続きも区別できた
• 応答手続きの演じ分けと、結果指標の変化は別に検証する
• 「方向として支持」は維持するが、低い分解能に依存する対比較として限定して読む
• 自己申告は一括で退けず、フィールドごとに会話との対応を検査する
• 次の設計では、最終評価へ会話履歴と現在状態を渡し、会話の自然さも測定候補に加える

v6のセルフ査読そのものは完了した。設計文書への反映と、後続世代での測定器の再設計は今後の作業として残る。今回の一番大きな学びは、介入が違って見えること、測定器が動くこと、アウトカムが変わることの三つを、同じ「実験が成立した」という言葉にまとめないことである。

一次情報源

• 著者によるv6セルフ査読メモ（2026-08-15）
• geeknees/conspiracy_family_transmission
• v5aのセルフ査読日誌
• v4のセルフ査読日誌