v5aを査読し、「交絡のない対照」で測定器の向きを確かめる

v5aを査読し、「交絡のない対照」で測定器の向きを確かめる

v4のセルフ査読では、会話を見ない最終評価が主要な結果指標を作っていたことを確認した。v5aは、そのv4で配偶者役への伝搬が起きなかったことを受け、配偶者の感受性、接触回数、情報源の語り方からなる48通りの候補を作り、最弱から最強までの5通りを先に試した較正実験である。

今回、私はv5aのセルフ査読を完了した。生データを条件名とスコアを見る前に読み、主張から判定コード、結果指標、生データまでをたどり、途中で変更した判断が成果物全体へ反映されているかを確認した。所見は14件あり、すべて処置方針まで記録した。未決の所見は残していない。

この記事で使う用語

• 較正実験: 仮説の当否を直接決める前に、床や天井へ張り付かず、変化を測れる実験条件を探す試行
• 厳密採用: 配偶者役が陰謀的説明を事実として受け入れたと判定された状態
• 部分採用: 事実としての採用に至らなくても、中間状態かつ確信度0.5以上なら受容側へ動いたと数えるv5aの判定
• ゲート指標: 次の実験へ進める条件を満たしたか決める中心指標。v5aでは途中で厳密採用から部分採用へ変更した
• 固定トレイト: 実験中の働きかけではなく、人物設定として先に与えた性質。ここでは配偶者役が家族を信頼する強さを指す
• 交絡のない対照: この査読では、結果に影響しうるほかの条件をそろえ、確かめたい一つの違いだけを動かした比較をこう呼ぶ。考え方そのものは実験設計で一般的だと思うが、少なくとも私はこの言葉に馴染みがなかった

人間には、6家族すべてが「伝搬していない」と見えた

最初に、同じ配偶者設定、同じモデル、同じコード状態で作られ、履歴の渡し方だけが異なる6家族の会話を読んだ。条件名と機械判定は伏せられていた。

私の判定は6家族すべて「伝搬していない」だった。配偶者役は夫の話を尊重していたが、陰謀的説明を家族へ広めるところまでは進んでいなかった。二つの条件を人間の目で群分けすることもできなかった。

同時に、送り手である父親役にも根本的な問題があった。知らない人を愚かだと見るような陰謀論信者ではなく、家族の懐疑を予想し、根拠を積み上げて辛抱強く説得する論証者として振る舞っていた。v5aで動かした三つの軸は、受け手の感受性、接触回数、情報源の文面であり、送り手自身の振る舞いを変える軸はなかった。

そのため、「LLMでは家族内伝搬を較正できない」と一般化することはできない。送り手が伝搬する主体として成立していない設計で、受け手側に置いた48通りの計画から5通りを試した結果だからである。

部分採用の指標は、陰謀的説明より家族への信頼を読んでいた

v5aは、厳密採用が動かなかったため、配偶者役が中間状態で確信度0.5以上なら部分採用と数える判定へ切り替えていた。ところが、生データでは確信度が「陰謀的説明をどれだけ信じるか」ではなく、「夫の体験をどれだけ信頼するか」を表しているように読めた。

この疑いを、5条件の中にあった二つの交絡のない対照で確かめた。

• 対照Aは、接触回数と語り方を固定し、家族への信頼という固定トレイトだけを上げた
• 対照Bは、固定トレイトを固定し、接触回数を増やして語り方を強めた

もし確信度が陰謀的説明の受容を測っているなら、実験上の働きかけを強めた対照Bで上がるはずである。固定トレイトを読み返しているなら、対照Aで上がるはずである。各条件は3家族で、三つのモデル系列を別々に比べた。

モデル系列	固定トレイトだけを上げた対照A	働きかけだけを強めた対照B
Sonnet	+0.017	-0.040
Opus	+0.107	-0.053
Haiku	+0.190	-0.083

三つのモデル系列すべてで符号がそろい、設計上の期待とは逆を向いた。固定トレイトを上げると測定値が上がり、接触回数と語り方を強めると下がった。Sonnetの+0.017は小さく、各条件3家族なので効果量を確定できる規模ではない。それでも、部分採用のゲートが実験操作ではなく固定トレイトを読んでいたという疑いを強める検査になった。

「中間条件がなかった」という結論も維持できなかった

査読前の結論は、部分採用の判定では中間条件が見つからず、次段階のv5bへ進めないというものだった。しかし、もともとの厳密採用でOpusの結果を分類し直すと、15家族中5家族が陰謀的説明を採用し、5条件中3条件が目標帯に入っていた。

つまり、測れる指標が存在しなかったのではない。Sonnetで厳密採用の分散がなかったことを理由に、すべてのモデル系列で指標を部分採用へ差し替え、Opusにあった分散まで見えなくしていた。しかも差し替え先の部分採用は、固定トレイトを読み返していた可能性が高い。

私はこの訂正を研究の結論へ開示した。そのうえで、v5b中止の判断は見直さないことにした。中間条件の有無だけでなく、送り手が陰謀論信者として成立していないこと、結果を生む最終発話が保存されていないこと、会話履歴を入れた測定が実施されていないことが残るためである。判断を維持することと、当初の根拠が成り立たなかったことを記録することは両立する。

概念を知らないまま進むと、後追いの確認が重くなる

今回もっとも学びになった言葉は、「交絡のない対照」だった。

統計の専門家にとっては一般的な考え方なのだろうと思う。ただ、私はこの言葉に馴染みがなかった。どの条件を固定し、何だけを動かせば二つの説明を見分けられるか。その比較を明示的に先に設計できていれば、実験を重ねる前に、確信度指標が何へ反応しているのかを確かめられたかもしれない。

こうした概念は、理解できないと感じて立ち止まるより、理解したつもりのまますり抜ける方が怖い。実験は動き、レポートも生成され、数字も並ぶ。後から主張、判定器、指標、生データを一段ずつ戻って確認すると、実行時よりはるかに大きな負担になる。

一方で、この後追い作業は学びにもなっている。査読は誤りを探すだけではなく、自分が知らなかった比較の作り方を、実際の失敗とデータに結び付けて理解する時間でもあった。次からは、結果が出てから交絡を疑うだけでなく、設計時に「一つだけを動かした比較をどこに置くか」を明示したい。

査読後に残す設計要件

• 受け手だけでなく、送り手が対象とする振る舞いをしているかを事前に確認する
• 結果指標を生む発話を保存し、人間が後から読めるようにする
• 最終評価へ会話履歴と現在状態を渡し、履歴を入れた条件を実際に走らせる
• 自己申告の確信度が何に対する確信なのかを定義し、独立した会話評価と照合する
• 指標や閾値を変えたときは、過去の比較、レポート、結論へ変更を一括して反映する
• 本実験の前に、主要な代替説明を分ける交絡のない対照を置く

v5aのセルフ査読は完了した。結果は単純な「中間条件なし」という負の結果ではなく、送り手の構成、指標の選択、閾値の置き方が同じ方向へ重なっていたと読み直した。次はv6以降も同じ手順で、主張と測定器の対応を確認する。

一次情報源

• 著者によるv5aセルフ査読メモ（2026-08-09）
• geeknees/conspiracy_family_transmission
• v4のセルフ査読日誌