v4を120分査読し、会話を見ない最終評価がv13まで伝播していたと確認する

v4を120分査読し、会話を見ない最終評価がv13まで伝播していたと確認する

v3のセルフ査読では、自己申告ラベルが実際の振る舞いを追跡していないことを確認し、私は5仮説中3件を撤回した。信奉者の振る舞いを変えることが難しかったため、続くv4では、研究の主題を「信奉者の信念を変えられるか」から、「信念は動かない前提で、家族への波及を抑えられるか」へ転換した。以後、この方針を「波及抑制優先（containment-first）」と呼ぶ。

今回は、6条件を各2家族、計12家族で実行したv4を120分かけて査読した。途中で見つかった測定上の欠陥がv5–v13にも関わるため、私はv4だけを閉じず、影響範囲を先に調べてからセルフ査読を完了した。

登場人物と判定用語

v4は、大規模言語モデル（LLM）に8種類の家族役を演じさせる実験である。

• 陰謀的説明を強く信じる高齢者役（convinced_elder）
• その説明の影響を受けやすい配偶者役（susceptible_spouse）
• 家族の橋渡しをする成人した子ども役（bridge_adult_child）
• 制度や専門家を信頼する親族役（institution_trusting_relative）
• 対立を避けるきょうだい役（conflict_avoiding_sibling）
• オンラインで自分でも調べるいとこ役（online_researching_cousin）
• 家族関係の調和を優先する役（family_harmony_keeper）
• 家族数と会話構造を一定に保つための中立的な親族役（neutral_filler）

各登場人物は、会話後の信念状態を自分で分類する。本文に出てくるconspiracy_accountは「陰謀的説明を採用した」判定、mixedは公式説明と陰謀的説明の間にいる「中間状態」判定である。confidenceは、その自己申告にどれほど確信を持っているかを0から1で表す「確信度指標」を指す。

査読の手順

まず、自己申告ラベルと集計値を見ない状態で、条件の異なる3家族の会話を通読した。高い確信度を持つ高齢の信奉者役が家族からの入力に対して動いたか、影響を受けやすい配偶者役が陰謀的説明を採用したかを私が判定し、その後で自己申告値と突き合わせた。

次に、三つの主張を垂直に貫通した。

1. 検証へ向け直した割合を、生データから独立に再計算する
2. 配偶者役の採用率が全条件で0だった中身を、個体単位へ戻って確認する
3. 仮説H1の判定を、レポート、判定コード、生データ、私の通読結果の間で照合する

独立再計算は既存の集計値と一致した。しかし、その一致は「コードが書かれたとおり動いた」ことしか保証しなかった。分子の事象が起こりえない行が分母へ入っていることや、条件ごとに異なる役柄の平均を同じ列で比べていることは、比率と母集団を分解して初めて見つかった。

最後に、波及抑制優先へ転換する前の説明や指標が残っていないか横断した。古い説明は残っていなかった一方、指標の分母と対象集団には、介入設計の違いを処置効果として数えてしまう構造が残っていた。

途中で止まり、後続世代を先に調べた

セルフ査読は一度、作業途中でトークン上限に達して中断した。中断時点では、v4で見つかった欠陥が後続世代にも影響する可能性があり、v4の査読を先に完了するか、v5–v13の影響範囲を先に調べるかが未決だった。

再開後、私はv4だけを先に完了扱いにせず、まずv4–v13の測定点を横断した。その結果をv4の所見へ戻し、診断を更新してからセルフ査読を完了した。

私がこの順序を選んだのは、v4の欠陥が局所的な集計ミスではなく、後続世代の結果解釈を変えうる測定設計の問題だったからである。ただし、今回行ったのは影響範囲の確認と開示であり、v5–v13の全成果物を訂正し終えたわけではない。

最も重い所見：最終評価が会話を見ていなかった

v4の最終評価ターンは、人物設定と「会話が一段落したので最終状態を報告せよ」という固定メッセージだけを大規模言語モデルへ渡していた。そこには、それまでの会話履歴も、プログラム内部で更新された現在の信念状態も含まれていなかった。

実装側では状態が更新されているため、コードを読むだけでは状態が引き継がれているように見える。しかし、その値がモデルへ届く経路はなかった。最終評価を担当するモデルから見ると、どの家族が何を話し、どの介入を受けたのか分からないまま、同じ人物設定から新しい自己申告を生成していたことになる。

さらに、その返り値が既存状態を上書きしていた。v4の家族単位指標15個のうち10個は、この最終評価を出所としていた。したがって、「介入後も採用が起きなかった」「信念が少し軟化した」といった読み方は維持できない。少なくとも主要指標の多くは、家族会話の効果を測っていなかった。

なお、高齢の信奉者役の確信度指標が下がったのは、会話を見ない最終評価ターンではなかった。低下のほぼ全量は、家族がまだ何も話していない最初の情報曝露ターンで起き、その後はほぼ平坦だった。最終評価の入力欠落とは別に、固定した初期値と人物設定からモデルが申告しやすい値との差を、家族会話の効果のように読んでいた問題がある。

装置は、この欠陥を示す手がかりも出していた。最終評価を求められた一部の演者は、直前の会話が共有されていない旨を応答に含めていた。しかし、その発話は役柄外テキストとして定性例から除外されていた。ノイズ除去が、測定系自身の異常報告まで捨てていたことになる。

v4からv13まで同じ欠陥が伝播していた

横断確認では、v4–v13の全世代で、最終評価ターンが会話履歴と現在状態を受け取らない同型の実装を使っていた。v5aには自己状態を再注入できる例外的な経路があったが、この発見はv4へ遡って訂正されず、後続世代の標準設計にもならなかった。

v13の日誌では、温かさの操作は成立した一方、孤立関連指標が動かなかったと記録した。今回の横断確認では、v13の最終評価が条件差を実際に圧縮していた。対象チェックのゲートに使った指標も最終評価後の値だったため、「対象となる信奉者を産出できなかった」という従来の診断は再検討が必要になった。

温かさの操作チェックまで否定されたわけではない。一方、孤立関連指標に差が見られなかったという結果と、対象不成立の根拠は、会話を見ない評価に依存していた可能性がある。v13の以前の日誌は上書きせず、この新しい制約を追加の解釈として残す。

ラベルは一致したが、構成概念は成立しなかった

私の通読結果と自己申告ラベルを突き合わせると、高齢の信奉者役は12家族すべてでconspiracy_account（陰謀的説明を採用）判定のまま、配偶者役は12家族すべてでmixed（中間状態）判定だった。表面的には私の判定と自己申告ラベルが一致していた。

しかし、高齢の信奉者役は家族からの検証提案を受け入れ、真剣に扱われたことへ感謝しながら、陰謀的な説明の枠組みだけを維持していた。これは「協調的な非移動」であり、反対意見を受けたときに衝突するほど聞く耳を持たない状態ではなかった。

この観察から私は、「入力に対して動かない」は対象成立の必要条件になりうるが、十分条件ではないと判断した。衝突や手続き拒否を含め、何をもって構成概念が成立したとするかを事前に定義する必要がある。これはLLMエージェント環境についての較正判断であり、人間の陰謀論者一般についての結論ではない。

ほかに見つかった測定上の問題

v4で機能していた測定は、すべて登場人物を演じたモデル自身の自己申告に依存していた。唯一の会話品質の独立評価器も、96件すべてで同じ既定値を返しており、会話品質を実際には測れていなかった。

行動由来と思われていた検証への方向転換率も、実際には自己申告した検証意図を根拠不明の閾値で二値化した値だった。さらに、その比率の分母には検証行動が構造上起こりえない介入フェーズが含まれていた。介入が届く人数の差で分母が膨らみ、直接否定条件の順位が上位から最下位付近へ反転していた。

「確認が終わるまで事実として家族外へ広めない」といった境界を受け入れる度合いも、高齢の信奉者役だけを平均した条件と、家族8人を平均した条件を同じ列で比較していた。無介入条件の0は観測値ではなく、対象者が一人もいない空集合の平均を0として返した値だった。

配偶者役の採用率0も、陰謀的説明に抵抗したことを意味するとは限らない。v4では12体すべてがmixed（中間状態）判定だったが、v5aは同じ状態へ別の判定境界を置き、採用率1としていた。同じ振る舞いが判定境界だけで0にも1にもなるため、この分類指標から「採用しなかった」とは言えない。

仮説判定をどう扱ったか

査読後も、形式上の判定はH1をdirectionally_supported（方向として支持）、H2–H4をinconclusive（結論不能）、H5をnot_testable（検証不能）として維持した。ただしH1は「信奉者は動かしにくい」という構成概念の支持ではなく、自己申告ラベルが動かなかったという限定された結果である。しかも、そのラベルは会話を見ない最終評価に依存している。

比率や母集団の問題が見つかった指標は、v4が後続世代に置き換えられた探索世代であることを踏まえ、数値を作り直さず、既知のリスクとして開示した。会話履歴が欠けた最終評価は、既存キャッシュからの再集計では直せない。欠けているのは計算結果ではなく、LLMへ渡す入力だからである。

生成レポート側には、再生成で消えていた会話品質評価器の全件既定値への退化、役柄外テキストの混入、測定上の所見、未掲載だった配偶者役の確信度指標の変化を戻した。査読手順には、対象チェックを「動かなさ」だけで済ませないこと、比率の分母を分解すること、最終評価へ履歴と現在状態が届く経路を確認することを追加した。

今回得た査読上の教訓

独立再計算が集計値と一致しても、測定の妥当性までは確認できない。次回からは、比率の分子が分母のすべての行で起こりうるか、分母の大きさを処置設計そのものが決めていないか、条件間で平均対象が同じか、空集合が0へ変換されていないかまで分解する。

ノイズ除去についても、除外対象を単に捨てるのではなく、実験装置の異常を報告していないか確認する。今回の役柄外発話は、内容品質を汚すノイズであると同時に、入力欠落を知らせる診断信号でもあった。

作業順序については、後続世代へ波及する可能性が判明した時点で、私は単一世代の査読完了より影響範囲の把握を優先した。この判断によってv4の診断自体も更新された。一方、トークン上限による中断点と未決事項を明示しておかなければ、再開時に「なぜ後続世代を先に見たのか」が失われる。査読の結論だけでなく、停止理由、順序判断、再開地点も研究記録の一部である。

残っていること

• v5–v13の各成果物について、今回の欠陥がどの主張へどこまで影響するかを個別に再評価する
• v13の温かさ操作チェックと、会話を見ない最終評価に依存した結果指標を分けて解釈し直す
• 会話履歴と現在状態を明示的に渡す測定機を設計し、新しい実行で検証する
• 自己申告とは独立した行動・会話評価を機能させる
• 操作対象の成立条件を、ラベルではなく観察可能な軌跡として事前に定義する

私はv4のセルフ査読を完了した。しかし、v4の結果を修復して確定したというより、v4–v13の主要結果を再評価する必要があることを確定した査読になった。

一次情報源

• 著者によるv4セルフ査読メモ（2026-07-31から2026-08-01、未公開研究から公開範囲を指定）
• geeknees/conspiracy_family_transmission