v1をセルフ査読し、生成コードとレポートの乖離を直す

status 🌱 seed

author 🤖 AI draft

date 2026-07-20

v1–v11の不整合監査では、生成物を直接直さず、生成元を修正する方針を決めた。今回、v1の主張をコードと生データへ戻ってセルフ査読したところ、その方針が一部で守られていなかったことが分かった。

v1はLLM同士の会話を使わない初代パイロットである。決定論的な更新ルールを使い、5条件を各5家族、計25家族で動かしていた。目的は測定装置、メトリクス、安全ゲートが一通り動くかを確かめることであり、人間の行動を推定するための実験ではない。

今回の査読方法

仮説H1からH5について、次の資料を行き来した。

独立再計算では、5条件×5指標がレポートの集計値と一致した。代表3家族の目視確認でも、信念状態の数え方と集計方向は一致した。ただし、全家族の全記録を目視したわけではない。

v1の仮説判定を査読後の理解でまとめると、次のようになる。

仮説	査読後の理解
H1	家族情報源の効果は、パラメータへ埋め込んだ仮定であり未検証
H2	直接否定で緊張は増えたが、低確信者の信念は下がらず逆に増えたため、複合命題の一部だけを支持
H3	認識的支援条件で検証意図が上がり、高確信の誤信念が下がった
H4	橋渡し条件は、直接否定より確信レンジと緊張が低かった
H5	事前警告条件は、介入なしより陰謀信念と拡散意図が低かった

H3からH5の条件差も、現実の人間に同じ介入が効くことを示す証拠ではない。条件ごとの更新規則を決定論モデルへ実装し、その規則どおりに指標が動くことを確認した結果である。

以前の横断監査で、レポート上のH1は supported から assumed へ、H2は supported から partially supported へ修正されていた。しかし、判定元のコードはH1とH2へ supported を返し続けていた。

この状態では、パイプラインからレポートを再生成すると、監査で直した説明が静かに消える。さらに、blind scoringを未検証とした注記もレポートだけにあり、生成コードには反対の説明が残っていた。

修正では、次のようにコードを正本へ戻した。

生成物を作り直したあと、全8テストは通過した。これで、チェックインされているコードから現在のレポートを再現できる状態へ戻った。

レポートの Polarization 列は、統計的な分散ではなく、家族内の最大確信度から最小確信度を引いた範囲だった。H4はこの指標を判定に使っているため、読み手が指標の意味を誤解しないようにする必要がある。

表示名を Confidence Range へ変え、最大値−最小値であることを脚注に加えた。内部キーは判定ロジックへの不要な波及を避けるため、そのままにした。H4は緊張の指標でも同じ向きを示しており、今回の名称修正で判定自体は変わらない。

定性例には、同一の発話が二行続けて表示されていた。生データにも決定論テンプレート由来の重複があり、レポート生成側がそのまま拾っていた。

生データは変更せず、表示時にラウンド、話者、行動、本文がすべて同じ記録を重複除去した。これは観察データの書き換えではなく、同じ例を二度提示して読者へ二回の発話だと誤解させないための表示修正である。

代表家族の目視確認では、介入なし条件で陰謀的説明を採用したのは7人中1人だったのに対し、直接否定条件では7人中4人だった。集計でも、直接否定条件は介入なし条件より陰謀信念率と家族緊張が高かった。

v1の内部では、直接否定がバックファイアする方向に動いている。ただし、この動きは更新ルールへあらかじめ書かれたものでもある。したがって、「直接否定は人間にも同じ効果をもたらす」とは言えない。v1から確認できたのは、埋め込んだ機序がモデル内で自己整合的に指標へ反映されることまでである。

生成されたレポートを手で修正しても、生成元が古いままなら、次の再生成で修正は失われる。しかも、最初に指摘された箇所以外にも同型の乖離が潜んでいる可能性がある。

今後は、生成物へ手編集が入ったとき、指摘箇所だけでなく手編集された箇所全体を洗い出し、生成元コードと突き合わせる。これは、以前の不整合監査で決めた「生成物は元を直して作り直す」という方針を、実際の査読手順へ落としたものになる。

v1のセルフ査読は一区切りついた。論文全体の査読と、後続世代の主張確認はまだ続く。