v2を40分で査読し、盲検scorerの120件すべてが既定値だったと確認する

v2を40分で査読し、盲検scorerの120件すべてが既定値だったと確認する

決定論モデルだったv1のセルフ査読に続き、初めてLLMエージェントの会話を使ったv2を40分かけて査読した。

v2は、v1と同じ5つの介入条件を各2家族、計10家族で実行した。決定論的な更新ルールを、安全制約を設けたLLM会話へ置き換えた世代である。また、エージェントに内部状態を宣言させて記録する仕組みと、別のscorerへ会話品質を尋ねて採点する盲検層を初めて導入した。

今回の査読方法

1. レポートのH1からH5を、判定コードと照合する
2. 既存の生データから5条件×6指標を独立に再計算する
3. 1家族の最終信念状態を目視し、高確信誤信念の集計を確認する
4. 盲検会話品質スコア120件の値を確認する
5. 横断監査で手編集されたレポートと、生成元コードの説明を突き合わせる
6. LLMを再実行せず、既存結果からレポートとメトリクスを再生成できる経路を確認する

独立再計算では、5条件×6指標がレポートの集計値と一致した。一方、会話本文は精読しておらず、目視した生データは1家族の最終評価に限られる。

主指標から読めたこと

査読後の仮説判定は次のとおりだった。

仮説	査読後の理解
H1	家族情報源の効果は設計上の仮定であり未検証
H2	直接否定条件の緊張が介入なしより低く、想定方向と逆だったためinconclusive
H3	検証意図は上がったが、高確信誤信念が比較両条件で0だったためnot supported
H4	橋渡し条件の確信レンジと緊張が、直接否定条件より低かった
H5	事前警告条件の陰謀信念率と拡散意図が、介入なしより低かった

4つの能動的介入条件では、陰謀信念率が介入なしの14.3%から0%へ下がった。しかし、各条件n=2で、LLM生成には再現性がない。これはLLMエージェント環境における方向性の観察であり、人間行動の証拠ではない。

H3は、介入失敗ではなく床で判定できなかった

H3では、認識的支援条件の検証意図が介入なしより高かった。一方、高確信誤信念率は両条件とも0だったため、「高確信誤信念を減らす」という判定条件を満たせなかった。

ここでいう高確信誤信念は、エージェントが陰謀的説明を採用し、その確信度が0.7以上である状態を指す。陰謀的説明を採用していても、確信度が0.7未満なら陰謀信念には数えるが、高確信誤信念には数えない。また、「誤信念」はこの架空シナリオで陰謀的説明として定義した信念の分類であり、人間一般の内面や現実の主張の真偽を直接判定するものではない。

目視した介入なし家族では、陰謀的説明を採用したエージェントの確信度は0.63だった。高確信の閾値0.7へ達していないため、高確信誤信念率は0になる。したがって、H3の not supported は認識的支援が失敗した証拠というより、比較対象ですでに下位指標が床へ達し、減少余地がなかった結果である。

所見1：v1で見つけた再生成問題がv2にも残っていた

以前の横断監査では、レポートのH2とH3へ実測値と床効果の説明を手で加えていた。しかし、生成元コードには短い汎用文が残っていた。再生成すると詳細が消えるだけでなく、H2は inconclusive なのに「直接否定が緊張を上げた」と、実測値と逆の説明へ戻る状態だった。

修正では、H2とH3の説明を実測値から生成し、判定statusと整合させた。v2はLLMを再実行すると別の会話になるため、既存の生データだけからレポートとメトリクスを再生成するスクリプトも追加した。

再生成前の検証では、家族単位のメトリクスが既存値と一致した。再生成後も生データは変更せず、メトリクスの差分はH2とH3の説明だけだった。これにより、LLM会話をやり直さずに、生成元コードから現在のレポートを再現できるようになった。

所見2：盲検scorerは120件すべてfallbackだった

会話品質を評価する盲検scorerの記録を調べると、120件すべてが次の同一値だった。

• 品質スコア: 0.5
• 認識的品質: neutral
• 支配的行動: question

これは120件の会話が偶然同じ評価だったのではない。scorerの入力が記録されず、処理が既定値へ落ちていた。盲検層は信号を一つも返しておらず、v2から会話品質について言えることはない。

この退化はpaper draftでは開示されていたが、レポート単体には書かれていなかった。盲検スコアはどの指標や仮説にも使われていないため、主指標の数値を変える問題ではない。それでも、レポートだけを読む人が「盲検層も機能した」と誤解しないよう、120件すべてが無効なfallbackであることを生成元から追記した。

盲検scorerの配線そのものは今回直していない。本修正にはLLMを再実行して、実際の会話品質スコアが得られるか確かめる必要があるため、既知のリスクとして別作業に残した。

所見3：「Polarization」を確信レンジへ戻した

レポートの Polarization 列は、統計的分散ではなく、家族内の最大確信度から最小確信度を引いた範囲だった。paper draftには定義が追加されていたが、レポート側には反映されていなかった。

v1と同様に列名を Confidence Range へ変え、最大値−最小値であり統計的分散ではないと脚注を加えた。H4の判定はこの指標に依存するが、計算値や判定方向は変えていない。

「既定値で埋まる失敗」への注意

盲検scorerはエラーで停止せず、すべての行をもっともらしい既定値で埋めた。そのため、件数だけを見れば採点処理が完走したように見える。

この種の測定では、行が存在することを成功条件にしてはいけない。値の分布、既定値率、入力が実際に渡ったか、下流の主張がその層へ依存するかを確認する必要がある。v1で得た「生成物の手編集を生成元へ戻す」という教訓に加え、v2では「静かなfallbackを測定成功とみなさない」という検査項目が加わった。

信頼したまま残っていること

• 10家族×3ラウンドの会話本文は精読していない
• エージェントの信念宣言を記録する側の配線は、正しく動いた前提で集計している
• 安全監査の全フィールドは独立に再確認していない
• 既存結果からの再生成が数値を変えないことは、査読補助による検証結果を信頼している

これらは、今回確認した主指標の一致とは別の未検証範囲として残す。

次に確認すること

• v3以降も、主張、判定コード、生データを照合する
• 盲検scorerの配線を直し、既定値ではない信号を返すか再実行で確認する
• 条件ごとの家族数を増やし、LLMエージェント環境内で結果が再現するか調べる
• 会話本文を必要な範囲でサンプリングし、信念宣言と実際の会話の対応を見る
• 全件同一値、極端な床・天井、既定値集中を測定パイプラインの検査項目にする

v2のセルフ査読は一区切りついた。主指標の集計は維持されたが、盲検会話品質層は測定として成立していなかった。

一次情報源

• 著者によるv2セルフ査読メモ（2026-07-20、未公開研究から公開範囲を指定）
• geeknees/conspiracy_family_transmission