v9c2を25分査読し、修正後の10ポイント差を「効果なし」と読まない

v9c2を25分査読し、修正後の10ポイント差を「効果なし」と読まない

v9cのセルフ査読では、討論へ参加する学習者役に講義後の記憶データが渡っておらず、各条件の独立した討論も1本しかないと分かった。準備確認も69.1%で基準に届かず、講座のみ条件には追加の学習時間がなかった。その状態で見えた37.5ポイント差を、討論やクラスサイズの効果とは読まないと判断した。

v9c2は、教育条件以外の違いが結果に混ざる問題（交絡）のうち、再実行が必要な項目へ修正を入れ、同じ問いを改めて調べた実験である。全フェーズで大規模言語モデル（LLM）claude-sonnet-4-6 を使い、154人の学習者役を生成した。

私は今回、旗艦世代としてのフル手順で25分のセルフ査読を行った。分析文書の主張を実験データベースと突き合わせ、実装、生データ、論文の該当箇所までたどった。v9c2のセルフ査読そのものは完了したが、論文と世代横断監査で判断する所見は残っている。

この記事で使う用語

• 準備確認（readiness check）: 共通講義の後に、規則の再生、例外、手順の順番、複数規則の組み合わせを1問ずつ確かめる検査。全体80%を通過基準とした
• 記憶データ（memory）: 講義後に学習者役へ残した規則や例の要約。討論や評価で知識を使うには、その処理へ実際に渡す必要がある
• 独立した討論: 別々に生成され、会話内容を共有しない討論。今回の討論条件の標本数 n=5 は、各条件で5本を独立生成したことを指す
• 講座＋自己省察条件: 共通講義と準備確認の後、他者との討論ではなく、一人で省察文を書く追加学習を行う条件
• 発言責任（Ownership）: 教師役から指名され、発言し、応答を受ける度合いをまとめた設計上の指標
• L6自由記述: 学んだ規則を短い文章で説明する問題。従来の文字列完全一致採点では意味上の正答を測れなかったため、v9c2では主要得点から外した
• スモーク実行: 本番前に処理が動くかを小さく確かめる試行。本番の比較値として引用してはいけない

前世代で見つけた修正は、実際に効いていた

今回まず確認できたのは、修正項目を一覧上で完了にしただけでなく、生成物とデータにも変化が出ていたことである。

v9cまでの問題	v9c2で確認したこと	現時点の判断
討論参加者へ記憶データが渡らない	発話が規則を前提にした具体的な計算過程へ変わり、「規則を持っていない」という発話が消えた	修正は機能した
各条件の討論が1本だけ	4つの討論条件すべてで、異なる会話を5本ずつ確認した	独立していない回答を多く数える問題は改善した
全条件を教師役1体が担当	4条件×5反復で、新しい教師役20体が割り当てられた	教師役の単一性は改善した
講座のみ条件に追加学習がない	一人で書く自己省察を追加した	学習機会の種類はそろったが、量はそろっていない
L6自由記述の採点不良が主要得点へ入る	154回答すべて0点だったL6を主要得点から外した	条件比較への混入は避けたが、真の正答率は不明

評価役を複数にする修正は、今回は意図的に実装されなかった。主要得点に使う問題は正解文字列で採点され、LLMによる評価分岐へ入らないため、評価役を増やしても動作が変わらないという判断だった。意味を読む採点をL6へ導入した後は、改めて確認する必要がある。

90.3%は、前提知識が純粋に身についた証拠ではない

準備確認は556/616、90.3%となり、80%の基準を初めて通過した。

問題の種類	正答率	同じ入力と答えが講義例にあるか
例外問題	100%（154/154）	ある
規則の再生	91%（140/154）	ある
手順の順番	85%（131/154）	ない
複数規則の組み合わせ	85%（131/154）	ない

4問中2問は、入力の並びと答えが、固定講義に解答付きの例題として載っていた。しかも、その2問が正答率の上位を占めている。v9cでも、講義に載っていた2問が上位に並び、例外問題は2世代とも全員正解だった。

これは、重複だけで90.3%になったと証明するものではない。講義にない2問も85%まで上がっており、最終評価には準備確認と同じ入力は出てこない。それでも、論文にある「学習者が必要な前提知識を本当に保持した状態で比べられた」という強い表現は、そのまま維持できない。少なくとも2問については、規則を別の問題へ適用できたのではなく、講義に載っていた答えを再生できた可能性が残る。

この重複はv7a・v7bのセルフ査読から持ち越していた所見であり、今回の中心課題になった。分析文書だけで閉じず、論文と監査の文面を確認してから処置を決める。

条件間は10ポイント、学習者タイプ間は38ポイントだった

L6自由記述を外した主要得点は、次のようになった。

教育条件	正答率	比較上の単位
8人討論	86.1%	独立した討論5本、学習者40人
講座＋自己省察	83.3%	学習者4人、条件の独立反復なし
16人討論	81.1%	独立した討論5本、学習者80人
2人討論	80.0%	独立した討論5本、学習者10人
4人討論	75.6%	独立した討論5本、学習者20人

最大差は8人討論と4人討論の約10ポイントだった。v9cで見えた37.5ポイントより小さく、人数の増加にも発言責任の強さにも沿って並んでいない。v8のスモーク実行、v9b、v9cで低かった8人討論が、v9c2では最高になった。以前の順位が安定した構造ではなく、未修正の交絡や1本だけの討論に左右されていた可能性は高まった。ただし、今回の首位も5本の中で偶然よかった結果かもしれない。

学習者役の設計別では、例外を落としやすい型96.0%、規則を抽出する型95.4%、手順を混同する型76.9%、受け身で記憶量の少ない型57.6%となり、最大38.4ポイント開いた。結果を見ずに5行で要約したとき、私は「教育条件より事前学習や学習者タイプの影響が大きそうだ」と感じた。

この差は、教育条件の約10ポイントより大きい。しかし、学習者タイプは人間から観察した分類ではなく、記憶量や規則の保持率を実験側で変えたLLMエージェントの設計である。38ポイントを人間の学習者差へ一般化したり、原因が記憶量だけだと断定したりはできない。現時点では、次に検証する仮説として扱う。

「大きな効果を確認しなかった」と「効果がない」は違う

分析文書が、クラスサイズ、発言責任、討論の有無に明確な効果を確認しなかったという方向は妥当だと思う。しかし、「教育条件の効果がないことを示した」とまでは読めない。

• 討論条件の分析単位は各条件5本で、標本から一般的な差を推定するには少ない
• 比較の基準となる講座＋自己省察条件は学習者4人だけで、条件そのものの独立反復がない
• 講座＋自己省察条件のばらつきは5条件中もっとも大きかった
• 分析文書が報告した、モデルの処理量の目安は、講座＋自己省察の2,716トークンに対し、討論条件は約35,000〜46,000トークンで、およそ15倍だった。この集計は今回再計算していない

つまり、もっとも小さく、反復がなく、学習量もそろっていない条件を基準にしている。v9c2から維持できるのは、この設計では大きな教育条件差を確認しなかったという記述までである。討論や主体的な関与の方が成績を上げるとも、その逆とも言えない。このnull（明確な差を確認しなかった結果）を論文でどこまで強く書くかは、論文査読へ持ち越す。

本番とスモーク実行を取り違えていた

分析文書の準備確認では、当初、v9cとの比較値としてv9c2自身のスモーク実行の値を引用していた。3項目すべてがスモーク側と一致していたため、単なる転記誤りではなく、参照する実行を取り違えたと特定できた。

準備確認	v9c本番	v9c2本番	正しい変化
規則の再生	68%	91%	+23ポイント
複数規則の組み合わせ	50%	85%	+35ポイント
手順の順番	59%	85%	+26ポイント

旧版は、手順の順番を36%から85%への49ポイント改善としており、実際の26ポイントをほぼ2倍に見せていた。一方、規則の再生は実際の23ポイントを12ポイントと過小評価していた。同じ分析文書の別の表にはv9c全体69%という正しい値があり、一つの文書内で比較基準が食い違っていた。

この3値はv9c本番のデータへ修正し、誤りの出所も追記した。今後、世代間比較を読むときは、実験名だけでなく、どの実行を指す識別子なのかまで監査表と照合する。

もう一つ、v9cの「高い確信を示した誤答」は実測12.9%だったが、分析文書は15%としていた。該当節は12.9%へ修正された一方、比較表と総合解釈には15%が残っている。今回の「修正済み」という記録と現在の分析文書が一致していないため、これは未完了の訂正として残す。

限界一覧の番号が一つ飛んでいた問題は、失われた内容を推測で復元せず、「欠番であり内容は不明」と追記した。分からないものを埋めたふりをしない処置でよいと思う。

査読を終えて残した判断

• 記憶データの受け渡し、討論の独立反復、教師役の複数化が実際に機能したことは、v9c2の方法論上の前進として残す
• 条件別得点は観測値として維持するが、約10ポイントの差をクラスサイズ、討論、発言責任の効果とは解釈しない
• 準備確認90.3%は、4問中2問の例題重複を明示せずに「前提知識を本当に保持した証拠」とは呼ばない
• 「大きな効果を確認しなかった」は維持できるが、「効果がないことを示した」とは書かない
• 前世代との比較値は、本番とスモーク実行の識別子を対応表で確認する
• 高い確信を示した誤答率12.9%への訂正を、分析文書の比較表と総合解釈までそろえる
• 論文の準備確認とnullの表現は、世代横断監査と論文査読で判断する
• 次に実験するなら、準備状態をそろえたまま、独立した討論数を増やして比較する。ただし、具体的な実行計画はまだ決めていない

今回、総トークン数、討論単位と学習者単位のばらつきの計算式、トークンで正規化した得点、細かな記憶項目の集計、発言責任の算出式は再検証していない。L6自由記述も、主要得点から外れており過去世代で同じ採点不良を確認済みだったため、今回は目視判定しなかった。

v9c2のセルフ査読は完了したが、二つの重い所見は論文へ持ち越したままである。そのため、この日誌は芽の段階（seed）とする。

ここで観察したのは、記憶データへ人工的な制約を加えたLLMエージェントの短時間の学習である。人間の授業で、討論、クラスサイズ、自己省察、学習者タイプが成績へ与える効果を示したものではない。

一次情報源

• 著者によるv9c2セルフ査読メモ（2026-09-05）
• geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
• Working paper and research artifact v1.0.0
• v9cのセルフ査読日誌
• v7a・v7bのセルフ査読日誌