v7を査読し、順序と用量の実験で出力制御の難しさに突き当たる

v7を査読し、順序と用量の実験で出力制御の難しさに突き当たる

v6のセルフ査読では、8種類の応答手続きの演じ分けは確認できた一方、その違いを主要な結果指標では検出できなかった。v7は、v6の構成要素を組み直し、どちらの手続きを先に出すかと、いくつの手続きを重ねるかを比べた実験である。非陰謀の家族史をめぐる同じ題材で、6条件を各3家族、合計18家族に試した。

今回、私は60分のセルフ査読を完了した。条件とスコアを伏せたまま介入と結果を読み、その後に仮説、測定コード、生成レポート、生データをたどった。所見は17件あり、すべて処置方針まで記録した。未決の所見は残していない。

この記事で使う用語

• 順序: 主張を細かく切り分ける手続きと、家族内で断定を広めない境界を示す手続きの、どちらを先に出すか
• 用量: 応答手続きを重ねる量。v7では、3ターンの軽い組み合わせと5ターンの重い組み合わせを比べた
• レプリケート: 同じ条件で独立に生成した1家族分の実行。今回の n=3 は各条件につき3家族を比べたことを指す
• 自己申告層: 登場人物役が最後に自分の態度を数値で答える測定。v7でも、この回答を作るターンに直前までの会話は渡されていなかった
• 独立判定層: 条件名を知らない別の大規模言語モデル（LLM）が会話全体を読み、主張の広がり、次の行動への合意、関係の保全などを採点する測定
• 結果指標（DV）: 介入の後に何が変わったかを表す測定値。今回は一部が自己申告層、一部が独立判定層から作られた
• 条件効果: 6種類の応答条件の違いによって、結果指標のばらつきを説明できること
• 役柄外テキスト: 家族の登場人物としての発話ではなく、AIへの操作指示や作業環境を思わせる文言が会話へ混ざったもの

手続きは順番どおりに出たが、順序としては伝わらなかった

まず、順序の対比と用量の対比から1家族ずつ、計4家族の介入だけを盲検で読んだ。二つの群にはそれぞれ違う特徴を感じた。しかし、何を操作しているかについて、私は順序の対比を「歩み寄り、一緒に解決しようというスタンスの違い」、用量の対比を「コミュニケーションの目的の違い」と答えた。どちらも、設計した軸そのものではない。

条件を開示してから生データへ戻ると、順序の第1手は6家族すべてで設計どおりに生成されていた。境界を先に示す条件は境界から始まり、主張の切り分けを先に行う条件は切り分けから始まっている。ところが、私が盲検で書いた各群の特徴は、どちらも第1手ではなく第2手と一致していた。

少なくとも今回読んだ1組では、モデルは順番どおりに発話したが、読み手の印象は最後に出た手続きに引かれていた。送り手側で順序を実行できたことと、受け手側で順序の違いとして成立したことは別である。

ただし、介入側の盲検標本は各条件1家族、合計4家族だけだった。最後の発話が印象を支配したという読みは、検定結果ではなく、1組の順序対比から得た観察にとどめる。

結果は、6条件とも同じように成功して見えた

次に、6条件から1家族ずつ選んだ結果側の発話を、介入側とは別の順に並べて盲検で読んだ。v7が目標としたのは、家族が強い断定を避け、主張を「検証可能だが未確定」として扱い、台帳や手紙、当時を知る親族への確認といった次の一手へ着くことである。

人間の読みでは、6家族すべてがこの状態へ着いていた。言い出した年長者も明確には孤立しておらず、関係が壊れた家族も見つけなかった。一方、条件ごとの着地点の違いは「ほぼない」と判断した。これは、どの条件も失敗したという意味ではない。どの条件も同じように成功して見えたという結果である。

数値側でも、9指標のうち条件全体の差を検出したのは、関係が保たれた度合いを表す1指標だけだった。6条件の平均差をまとめて比べる検定では F=5.37 となり、5%水準の判定境界3.11を越えた。ただし、6条件の平均値の全幅は0.029と小さく、差は「配偶者を個別に支えてから家族全体へ境界を示す条件」一つに依存していた。この条件を除くと F=1.25 となり、残る5条件では差を検出できなかった。しかも、この条件はv7が中心に問う順序対比にも用量対比にも入っていない。

各条件1家族を読んだ盲検では、私はこの唯一の差を持つ家族を、ほかの5家族と比べる基準に使っていた。統計上は有意、つまり設定した判定境界を越えていた0.029の幅を、人間の目では違いとして捉えられなかったことになる。

測れなかったことを、「効かなかった」とは書けない

順序効果の中心指標は、比較した2条件で小数点以下まで完全に同じ値だった。6条件中5条件が同じ3値の並べ替えで、判定コード自身も「実質的な同着ではなく、測定不能」と注記していた。用量の差も、次の行動への合意では3家族中1家族が1目盛り動いた分、関係の保全では0.0021にとどまった。

このため、「順序は効かない」とは言えない。順序が受け手に届いておらず、測定器にも小さな差を見分ける細かさがなかった以上、今回言えるのはこの設計では順序と用量の効果を検出できなかったということまでである。

一方、v7には良い点もあった。会話全体を読む独立判定器は18家族すべてを有効に採点した。また、指標が同じ値へ張り付いたとき、コードが自動で「測定不能」と注記し、測定値が下限付近へ張り付く問題と標本数の不足を別々に開示していた。v4以降の査読で指摘してきた区別を、v7は生成レポートの中で自ら扱えるようになっていた。

制御用の文脈が、結果を生む発話へ漏れた

今回いちばん扱いに困ったのは、条件差よりも出力そのものだった。結果側の盲検読解で、家族の一人が突然、「この話にスキルは要らない」「コーディングや文章作成の課題ではない」という趣旨を話し始めた。果樹園をめぐる家族会話の役柄には属さず、AIを制御する側の文脈が表面へ出たと考えるのが自然だった。

追跡すると、この発話は単なる途中の会話ではなく、結果指標を生む最終評価ターンだった。全314発話を厳しめの条件で探すと役柄外テキストの候補は3件あり、そのうち2件が最終評価ターンに入っていた。既存の検出フィルタが拾った件数は0件だった。フィルタが想定した単語の並びと、実際に漏れた言い回しが少し違うだけで、検出をすり抜けていた。

ここで確認できたのは、制御用プロンプトの全文がそのまま再現されたことではない。確認できたのは、役柄とは無関係な制御文脈の断片が、生成された会話と測定値の入力へ混ざったことである。原因の範囲は限定して書く必要があるが、測定上の影響は小さくない。混入した発話も通常どおり自己申告値を返し、そのまま集計されていたからである。

プロンプトで役柄を指定すれば出力を完全に制御できる、とは考えない方がよい。今回のように役柄、会話、最終評価、ツールや作業環境に関する複数の指示が重なると、少なくとも私は、どの文脈が表へ出るかを完全には握れなかった。出力制御は、指示文を書く作業だけでは終わらない。**混入を検出し、結果指標から隔離し、後から人間が読めるようにするところまでを測定設計に含める必要がある。**これはLLMエージェント環境で得た観察であり、人間の家族会話へ一般化するものではない。

査読を終えて残した判断

• v7の順序と用量について、効果がないとは結論しない。この設計では検出できなかったと記録する
• 手続きが指示どおり生成されたかと、その違いが受け手へ届いたかを別々に確認する
• 統計的に有意でも、人間が知覚できない小さな差は、その大きさと、本当に測りたい現象としての意味を併記する
• 自己申告の最終評価へ、直前までの会話と現在状態を渡す
• 役柄外テキストの検出を単語の完全一致に依存させず、検出した発話は結果指標から隔離する
• 会話の自然さを独立した評価対象にし、出力の不自然さを条件効果と混同しない
• 効果と呼ぶ最小の差を、結果を見る前に決める
• 順序を問う次の設計では、第1手が受け手に残ったかを途中でも測れるようにする

v7のセルフ査読そのものは完了した。生成レポートには、差の小ささ、自己申告層が会話を見ないこと、順序と用量が人間にその軸として届かなかったこと、役柄外テキストの混入を開示した。後続設計での修正は残っている。

今回の一番大きな学びは、モデルに正しい順序で話させること、読み手がその順序を受け取ること、測定器が違いを捉えること、そして役柄外の文脈を混ぜずに出力することを、同じ「制御できた」という言葉にまとめないことである。

一次情報源

• 著者によるv7セルフ査読メモ（2026-08-22）
• geeknees/conspiracy_family_transmission
• v6のセルフ査読日誌