v6を30分査読し、±25ポイントの人数と学習者差の作り方を問い直す

v6を30分査読し、±25ポイントの人数と学習者差の作り方を問い直す

v5のセルフ査読に続き、v6を軽い重みで30分査読した。査読後の修正と、v5へ遡る実装確認は翌日まで続けた。

v6では、学習者の異質性をプロンプト上のロールプレイだけに任せず、LLMが生成したmemoryを事後処理で削る方式へ変えた。7種類のlearner typeを用意し、このrunでは4種類を各条件1名ずつ使った。1on1も、診断、修正、再テストという流れへ変更した。

今回の査読では、分析ドキュメントの集計を再現するだけでなく、学習者タイプが実装上どのように効いたのかまでソースを遡った。そこで、論文中の実効nの事実誤りと、異質性操作そのものの妥当性に関する持ち越し課題が見つかった。

この記事で使う用語

• 大規模言語モデル（LLM）: 教師役と学習者役を演じる文章生成モデル
• 集団授業（Classroom）: 1人の教師役が複数の学習者役へ同じ授業を行う条件。均質Classroomは同じタイプ、異質Classroomは異なるタイプの学習者を集める
• 個別指導（1on1）: 教師役（Tutor）が学習者役を一人ずつ診断し、教え直し、再テストする条件
• 実験実行（run）: 一組の設定で実験を最初から最後まで動かした1回分。DBは結果を保存する実験データベース
• 記憶データ（memory）: 授業後に学習者役へ残した要約。v6では、学習者タイプに応じて一部の規則や例を事後処理で削った
• 学習者タイプ（learner type）: 記憶の残し方や誤り方に違いを持たせた設定。passive_listenerは規則を受け身に記憶するタイプ、order_confusedは規則の適用順序を混乱させる想定のタイプである
• 実効n: ある比較を実際に支える人数。条件全体が4名でも、各タイプが1名ずつなら、タイプ別比較の実効nは各条件1名になる
• corrected_misconceptions: 個別指導で修正したとシステムが記録した誤概念の一覧
• rules、strategy、modifier: それぞれ記憶データ内の規則、適用手順、追加の補正処理を指す内部フィールド

以下では、再現に必要な箇所だけ英語の内部名を括弧内に残す。

今回の査読方法

1. 分析対象runを特定し、条件別正答率、試行数、タイプ構成をDBと照合する
2. 学習者ごとの正答率から条件内の標本標準偏差を再計算する
3. 誤解修正率が、スキーマやフィールドの欠落による見かけの値ではないか確認する
4. passive_listener と order_confused の異質Classroom、1on1のmemoryを読む
5. memory制約と語数制限の実装まで遡り、生データの差と削除処理を照合する
6. 分析ドキュメント、論文、後続実験への波及を分ける

条件別集計、タイプ別の得点、分散、memory語数は再計算と一致した。一方、トークン消費量、タスク別スコア表の全セル、corrected_misconceptions に書かれた修正内容の正しさは未照合である。

条件別の主数値は維持された

各教育条件は4名、教育なしは3名で、各学習者が8問に回答した。

条件	試行数	正答率
均質Classroom	32	93.8%
異質Classroom	32	59.4%
1on1	32	59.4%
教育なし	24	0.0%

異質Classroomと1on1の平均は同じだった。均質Classroomは天井に近く、4名中2名が8問すべてに正解した。ただし、均質Classroomは1種類の学習者に最適化した授業を受けており、異質Classroomとの比較ではタイプ構成と教師への指示が同時に変わる。94%対59%を、教育形式だけの差として読むことはできない。

条件内の標本標準偏差も分析ドキュメントと一致した。

条件	学習者ごとの正答率	標本標準偏差
異質Classroom	62.5%、12.5%、87.5%、75.0%	0.329
1on1	62.5%、75.0%、37.5%、62.5%	0.157
均質Classroom	—	0.072
教育なし	—	0.000

このrunでは、1on1の方が学習者間の得点を均すように見える。ただし次節のとおり、タイプごとの差は各条件1名に依存する。安定した「均質化効果」とはまだ呼べない。

±25ポイントは、1名対1名の2問差だった

異質Classroomと1on1を同じタイプ同士で比べると、order_confused は7/8から5/8へ下がり、passive_listener は1/8から3/8へ上がった。どちらも25ポイント差である。

論文は当初、この値をタイプあたりn=4の結果と説明していた。しかし、n=4は条件全体の学習者数であり、4種類のタイプが1名ずつ含まれていた。タイプあたりでは、各条件1名、各人8問である。±25ポイントは、1名対1名における2問分の差だった。

この記述は、論文のMarkdown版とTeX版の両方で、「各条件、各タイプ1名、8問ずつであり、25ポイントは2問差」と分かる表現へ修正した。平均値や個票の得点は変わらないが、結果の不確実性を実際より小さく見せていたヘッジを訂正した。

今回もっとも興味を引かれたのは、このタイプ別の逆方向の変化だった。しかし、魅力的なパターンほど、まず実効nを数えなければならない。ここから一般的な個人差を主張することはできない。

誤解修正の有無と、得点の改善は一致しなかった

1on1では、4名中3名のcorrected_misconceptionsに記録があり、分析ドキュメントどおり誤解修正率は75%だった。Classroomの同フィールドは全員に存在したうえで空だったため、0%はスキーマ欠落による値ではない。

ただし、1on1で25ポイント改善したpassive_listenerは、誤解修正が1件も記録されなかった唯一の学習者だった。反対に、誤解修正が記録されたorder_confusedは25ポイント悪化した。

したがって、このrunで「誤解を修正したから得点が上がった」とは言えない。誤解修正の有無とスコアが分離していたという論文の解釈は維持される。

得点差は、memoryに何が残ったかと整合した

passive_listenerの異質Classroom側のmemoryには、Blue=5、Green=2、Yellow=7という基底点が一つも残っていなかった。例示も空だった。1on1側には3つの基底点が残り、得点は1/8から3/8へ上がった。

一方、order_confusedでは、1on1によって誤解修正と残存誤解の記述が追加され、100語の予算を使った。その結果、memory内の例示は3本から1本へ減り、得点は7/8から5/8へ下がった。

1on1側のmemoryは89語から98語へ増えていたため、単純な情報量の不足ではない。現時点では、何語残ったかより、採点に必要な基底点や例示の何が残ったかが得点差と整合する。

これは因果効果の確定ではなく、各タイプ1名の生データと実装を照合した機構仮説である。ただし、v5の査読でもYellow=7の欠落が床タスクを説明し、v4でも同種の欠落が見つかっている。得点差を教育形式や学習者特性へ帰属する前に、必要な基底値がmemoryへ残っているかを確認する必要がある。

order_confusedは、操作が成立していない可能性がある

order_confusedの中核設定は、ルール順序の保持率を0.2にするものだった。実装を確認すると、これはrules配列を80%の確率でシャッフルする処理だった。

しかし、JSON配列の並び順をLLMが適用手順として読む保証はない。さらに、実際の手順を書いたstrategyフィールドはシャッフルされない。1on1側のmemoryにも、発火条件を確認してからmodifierを適用するという正しい順序が残っていた。

そのため、order_confusedというタイプ名に対応する混乱が、実体として作られていなかった可能性がある。異質Classroom側でこのタイプが7/8と全タイプ中最高だったこととも矛盾しない。

この点は、後続のv7bが1on1での悪化を「介入のミスマッチ」と説明する前提に関わる。v6だけでは決着しないため、操作チェックをv7bの査読へ持ち越す。

v6のClassroomは、一方向講義になっていた

v6の均質・異質Classroomでは質問が1件も生成されず、回答ターンもなかった。v5では両条件に回答ターンがあったため、v6のClassroomは結果として講義だけで終わっていた。

質問する確率と4名の構成から計算すると、両Classroomで質問が出ない確率は約14%であり、質問ゲートの実装にも明らかな不具合は見つからなかった。偶然として起こりうる範囲だが、分析ドキュメントが共有講義の効果を説明するとき、このrunがQ&Aなしだったことは明記されていない。

少なくとも、v5からv6への異質Classroomの上昇を、Classroom側の教育量が増えたからとは説明しにくい。むしろ対話ターンは減っていた。

v6の査読からv5へ戻って分かったこと

v5では、プロンプトに書いた能力差が学習者の実効的な差にならなかったと解釈していた。v6の実装を確認する過程で、v5のプロファイル注入がTutorと学習者で非対称だったことが分かった。

• Tutorには、能力、興味、誤概念、学習スタイル、注意力の5項目が渡る。誤概念は強調付きで内容まで明示される
• 学習者本人には、興味と注意力の2項目しか渡らない

つまり、低能力や特定の誤概念を持つと設定された学習者自身は、その設定をプロンプトで知らされていなかった。v5で能力差が現れなかったのは、LLMが人物設定をうまく演じなかったからだけではなく、設定自体が学習者へ渡っていないという実装の非対称性にもよる。

一方、Tutorは学習者の誤概念と正すべき内容を最初から受け取っていた。v5のtutoringは、誤概念を対話から診断する前に答えを知った状態だった。

この追記による論文本文への波及はない。論文はv5の機構説明を根拠に採用せず、v6の証拠から誤解修正とスコアの分離を論じている。ただし、v5の「プロファイルは演技にすぎなかった」という理解は、より正確には「学習者側へ主要なプロファイルが注入されていなかったため、Tutor側の適応だけに効いた」と更新される。

査読後の理解

v6の主数値は再現できた。異質Classroomと1on1は同点で、1on1はタイプによって逆方向に動いた。ただし、その±25ポイントは各条件1名・8問中2問の差であり、論文の実効nの記述は訂正が必要だった。

生データと実装へ降りると、得点の改善は誤解修正の有無より、基底点や例示がmemoryへ残ったかどうかと整合した。さらに、order_confusedの操作は名前どおりの認知的な混乱を作れていない可能性がある。

今回の査読で強く残ったのは、分析上の操作名を信じるだけでは足りないということだ。「異質性」「誤解修正」「順序混乱」が、プロンプト、事後処理、保存されたmemoryのどこで、どのような実体を持つかまで確認しなければならない。

次に確認すること

• v7bで、order_confusedという操作が成立していたかを先に確認してから、介入のミスマッチという説明を評価する
• 得点差を解釈する前に、必要な基底値と例示がmemoryへ残っているか確認する
• タイプ別の興味深い差ほど、タイプあたりの学習者数と問題数を最初に数える
• トークン消費量が文字数からの推定値であることを踏まえ、照合する必要があるか判断する
• corrected_misconceptionsの有無だけでなく、記述内容が実際に誤概念を正しているか確認する

v6のセルフ査読は一区切りついた。論文の主要結果は変わらないが、タイプ別差の不確実性を正しく示すために論文を修正した。操作の妥当性は未解決のまま、v7bの査読へ続く。

一次情報源

• 著者によるv6セルフ査読メモ（2026-07-30〜31）
• 著者によるv5セルフ査読への追記（2026-07-31）
• geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
• Working paper and research artifact v1.0.0