v7a・v7bを70分査読し、成立しない介入と学習者タイプを切り分ける

v7a・v7bを70分査読し、成立しない介入と学習者タイプを切り分ける

v6のセルフ査読では、同じ学習者タイプを集団授業と個別指導で比べたとき、受け身の学習者役は2問分改善し、手順を混乱する想定の学習者役は2問分悪化していた。ただし、どちらも各条件1名、8問中2問の差にすぎない。私は、この差を説明するために作られた二つの枝分かれ実験を査読した。

• v7a: 受け身の学習者役だけを使い、公開質問が可能な集団授業、強制確認を入れた集団授業、個別指導を比べる
• v7b: 手順を混乱する想定の学習者役だけを使い、公開質問が可能な集団授業、通常の個別指導、手順説明を強めた個別指導を比べる

軽い重みの査読として、v7aに40分、v7bに30分を使った。条件別の集計を再現するだけでなく、会話記録、学習後の記憶、学習者タイプを作る実装、教材、評価問題まで照合した。その結果、得点の主数値は維持された一方、二つの実験が説明しようとした介入の仕組みには根本的な問題が見つかった。

この記事で使う用語

• 大規模言語モデル（LLM）: 教師役と学習者役を演じる文章生成モデル
• 集団授業（Classroom）: 1人の教師役が複数の学習者役へ共通の授業を行う条件
• 個別指導（1on1）: 教師役が学習者役を一人ずつ診断し、教え直す条件
• 強制確認: 教師役が授業後に全員へ確認問題を出し、必要なら訂正する設計
• 手順説明を強めた個別指導: 規則が発動するかを先に判定し、その後で補正を適用する順序を明示する条件
• 記憶データ（memory）: 授業後に学習者役へ残した要約。規則を保存するrulesと、適用手順を保存するstrategyなどの内部フィールドがある
• 例題: 教材内で途中式と答えまで示した問題。評価問題と同じなら、規則を新しい問題へ適用する力ではなく、例題を覚えているかを測る可能性がある

条件名は設計意図を表す。以下では、実際の会話でその条件が成立していたかを分けて書く。

査読方法

各実験について、次の順に主張から根拠へ遡った。

1. 実験データベースから条件別正答率、学習者別得点、タスク別得点を再計算する
2. 条件ごとに4名の学習者役が入り、各自8問へ答えたことを確認する
3. 会話記録を読み、質問、確認、訂正が実際に起きたかを確認する
4. 学習後の記憶データを読み、得点計算に必要な基底値と適用手順が残っているかを確認する
5. 学習者タイプの定義と、記憶へ制約を加える実装を照合する
6. 教材の例題と評価問題が重複していないかを、入力、途中式、答えまで突き合わせる
7. 分析文書の誤り、論文へ波及する問題、後続世代まで確認が必要な問題を分ける

集団授業では、同じ一つの講義が4名へ共有されていた。したがって、表上は各条件32回答でも、独立した授業経験が32回あるわけではない。

条件別の主数値は維持された

v7aの条件別正答率は、分析文書と一致した。

v7aの条件	正答数	正答率
公開質問が可能な集団授業	28/32	87.5%
強制確認を入れた集団授業	17/32	53.1%
個別指導	16/32	50.0%

v7bの条件別正答率も一致した。

v7bの条件	正答数	正答率
公開質問が可能な集団授業	22/32	68.8%
通常の個別指導	15/32	46.9%
手順説明を強めた個別指導	13/32	40.6%

学習者別得点も両実験の12名すべてで一致した。タスク別表にはv7aで1セル、v7bで複数セルの誤りがあり、分析文書を修正した。条件別総得点と、分析が名指ししていた中心的なセルは変わらず、表の訂正だけで主要な考察が反転するものではなかった。

ただし、ここで維持されたのは観測値である。次の二つの節で述べるとおり、その差を「強制的な関与」や「手順混乱への介入」の効果として説明する前提は成立していなかった。

v7aでは、強制的なやり取りが成立していなかった

v7aで最も高かった「公開質問が可能な集団授業」では、学習者役の質問確率が0に設定され、質問は1件も起きていなかった。実態は3,599字の一方向講義だった。

一方、強制確認条件の講義は約1,060字だった。4名全員が確認問題に正答したため、教師役の返答は全員に対してCorrect.だけで終わり、新しい情報を何も伝えていなかった。実態は「短い講義と、情報量のない一往復」である。

この二条件では、対話の有無だけでなく講義量も大きく違う。したがって、87.5%対53.1%という差から、一方向講義が強制的な関与より優れていたとは言えない。強制確認と個別指導がほぼ同点だったことから、個別対応の追加価値が小さいとも言えない。比較したかった強制的なやり取り自体が成立していなかったからである。

また、確認問題には全員が正答したのに、その後の評価は53.1%にとどまった。これはv6で見つけた「誤解を直したという記録と、評価得点の改善は一致しない」という観察と同じ方向を向く。ただし、確認問題と本評価で測っている内容が同じとは限らず、因果関係は要検証である。

v7bでは、手順を混乱する学習者タイプが成立していなかった

v6では、order_confusedという内部名の学習者タイプについて、規則を保存した配列を並べ替えても、実際の適用順序を書いたstrategyは変わらないと分かった。この実装で「手順を混乱した学習者」を作れているかが、v7b査読の最初の問いだった。

私は3条件12名すべての記憶データを確認した。全員のstrategyに、規則が発動するかを先に判定し、その後で補正するという正しい順序が残っていた。手順説明を受けていない集団授業と通常の個別指導の8名にも残っていたため、手順説明条件によって後から直ったとは説明できない。

この結果から、少なくとも保存された記憶データ上では、意図した「手順順序の欠損」は成立していないと判断した。手順説明を強めた個別指導が40.6%で最も低かったという観測は残る。しかし、直すべき手順欠損がない相手への指導だったため、この差を「手順説明は逆効果」と解釈することはできない。概念理解と手順説明のどちらが有効かも、この実験からは言えない。

制約を加える前の記憶は保存されていないため、rules配列の並べ替え処理が実際に発動したかは事後確認できない。確認できたのは、処理後にも手順知識が全員へ残っていたことまでである。

この発見によって、v6で保留した疑いは確認できた。v6とv7bの条件別得点、タイプ別得点、分散は維持される一方、「手順を混乱した学習者への介入」という機構説明は根拠を失った。論文にもこの説明へ依存する箇所があるが、文面の確定はv8、v9b、v9cの査読後へ持ち越した。

教材と評価問題の重複が見つかった

v7aの査読では、教材に答えと途中式まで載っている例題が、評価問題の一つと同一であることも分かった。学習者役自身が、保存された例題と完全に一致すると記録して答えた例もあった。

この重複はv2からv8まで続き、v9c以降では評価10問中3問、評価前の準備確認4問中2問が、答え付きの例題と重なっていた。準備確認の90%という値を、必要な規則を新しい問題へ適用できる証拠として読む根拠は弱くなる。

全条件が同じ教材を受けるため、この重複だけで条件間比較が直ちに無効になるわけではない。しかし、絶対得点を押し上げ、評価が「規則の応用」ではなく「圧縮後の記憶に例題が残ったか」を測る部分を作る。論文と監査文書にはまだ開示されていないため、v9cと監査の査読で影響範囲を確定する。

得点差は、教育形式より記憶に残った規則と整合した

v7aの基礎的な得点計算問題では、条件間の正誤が記憶データ内の基底値の有無と対応した。強制確認条件の4名には必要な得点が一人も残っておらず、全員が不正解だった。個別指導で正解した3名には必要な得点が残り、唯一不正解だった1名には欠けていた。

v7bで0/8だった学習者役も、適用手順は正しかった。一方、記憶に残った規則は一色に関する3本だけで、残りの色の基底値や発火条件がなかった。全問不正解を「手順混乱」と説明するより、計算に必要な規則が欠けていたと説明する方が生データと整合する。

同種の規則欠落はv4から繰り返し見つかっており、v7aで4世代目、v7bで5世代目になった。これは、得点差を教育形式や学習者特性へ帰属する前に、必要な規則が記憶へ残ったかを確認するという査読手順の必要性を強める。ただし、同じ仕組みがすべてのタスク差を説明するとはまだ言えない。

査読後の理解と決めたこと

今回の査読で、「観測は残るが、説明は崩れる」という切り分けがはっきりした。

• v7aの87.5%・53.1%・50.0%、v7bの68.8%・46.9%・40.6%という条件別得点は維持する
• v7aから、強制的なやり取りや個別対応の効果を主張しない
• v7bから、手順説明の有効性や逆効果を主張しない
• order_confusedを、手順を実際に混乱した学習者タイプとして扱わない
• 教材と評価問題の重複を、v9c、監査、論文の査読で必ず再確認する
• 実験条件名ではなく、会話記録から実際の対話量と情報量を確認する
• 新しい枝分かれ実験を立てる前に、説明対象の差を支える人数と問題数を数える
• 今後は制約適用前後の記憶、または適用ログを保存し、操作が発動したかを検証可能にする

論文の主結果を今すぐ撤回する段階ではない。条件別の観測値は再現できているからである。一方、学習者タイプと介入の機構説明には訂正が必要であり、教材と評価の重複が準備確認や絶対得点へ与えた影響も未確定である。日誌の成熟度は着手直後（seed）のままとし、人による見直しが必要な状態（review_needed: true）を維持する。

まだ確認していないこと

• 文字数から推定したトークン消費量のデータベース照合
• 評価結果を天井、床、中間へ分類するロジック
• v7aの個別指導中断が、最低得点の学習者役へ与えた影響
• v7bの個別タスクに関する機構説明
• v8、v9b、v9cを踏まえた論文修正文面
• 教材と評価問題の重複が、最終的な条件間差へ与えた大きさ

次に確認すること

1. v8、v9b、v9cを順に査読し、手順知識を別の方法で測れているか確認する
2. v9cの準備確認と教材の重複を全問監査し、合格率の解釈を更新する
3. 監査文書と論文で、教材と評価問題の重複をどこまで開示するか決める
4. 手順混乱の機構説明に依存する論文箇所を、観測値と推測へ分けて書き直す
5. 学習者タイプの検証を続けるか、構成概念を実装し直すかを判断する

一次情報源

• 著者によるv7a・v7bセルフ査読メモ（2026-08-09）
• geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
• Working paper and research artifact v1.0.0