v9cを30分査読し、37ポイント差を討論の効果と読まない

v9cを30分査読し、37ポイント差を討論の効果と読まない

v9bのセルフ査読では、共通講義後の理解が58%にとどまり、討論参加者には講義後の記憶データも渡っていなかった。その状態では、クラスサイズや発言責任の効果を判断できないと結論した。

v9cは、「事前知識が足りなかったから、v9bでは発言責任の効果が見えなかったのではないか」という仮説を確かめるための実験だった。6,493字の固定講義を用意し、4種類の準備確認を追加した。全体で80%に届かなければ、前提知識が整っていないと判定する基準も導入した。

私はv9cを30分、フルの手順でセルフ査読した。条件別得点、準備確認、学習者タイプ別得点、討論の独立反復数をデータベースと照合し、分析文書、後から追加された方法論注記、実装、生データをつないで読んだ。6件の中心的な数値主張は、いずれもデータベースと一致した。

この記事で使う用語

• 準備確認（readiness check）: 共通講義の後に、規則の再生、例外、複数規則の組み合わせ、手順の順番を理解したか確かめる4問
• 80%基準: 準備確認の正答率が80%未満なら、前提知識が整っていないとして結果解釈を保留する判定境界
• 発言責任（Ownership）: 教師役が誰に発言を求めるかを明示し、学習者役が討論へ参加する責任を持つよう促す設計
• 記憶データ（memory）: 学習者役が講義や学習から残した規則、例、誤解の修正などの要約。討論や評価で知識を使うには、このデータをその処理へ渡す必要がある
• 独立した討論: 別々に生成され、会話内容を共有していない討論。16人が同じ一つの会話を読む場合、学習者は16人でも討論の標本数は n=1 である
• 講座のみ条件: 共通講義と準備確認の後、追加討論を行わずに評価へ進む条件

まず、観測された点数は再現できた

準備確認の全体正答率は94/136、69.1%だった。80%基準には届かず、設計どおり「準備不十分」と判定された。

準備確認の種類	正答率
例外問題	100%（34/34）
規則の再生	68%（23/34）
手順の順番	59%（20/34）
複数規則の組み合わせ	50%（17/34）

最終評価の条件別得点も、分析文書とデータベースで一致した。

条件	学習者数	正答率	独立した討論
講座のみ	4人	27.5%	0本
2人討論	2人	65.0%	1本
4人討論	4人	57.5%	1本
8人討論	8人	40.0%	1本
16人討論	16人	51.9%	1本

もっとも高い2人討論と、もっとも低い講座のみの差は37.5ポイントある。これは観測値として残る。しかし、論文はこの差を討論の効果とはせず、結論を保留していた。今回の査読では、その判断が妥当だったと確認した。

37ポイント差を、討論の効果と読めない

理由は四つある。

第一に、v9bと同じく、v9cでも討論参加者へ講義後の記憶データが渡されていなかった。4つの討論条件すべてで、参加者は最初の発言から「規則を手元に持っていない」という趣旨を述べていた。比較していたのは通常の協働学習ではなく、必要なルールを持たない状態から、会話の中でどこまで回復できるかだった可能性が高い。この不備は後続のv9c2で修正されている。

第二に、2人、4人、8人、16人の各条件で、独立して生成された討論は1本ずつしかなかった。16人条件の160回答も、16本の討論から得たデータではない。一つの討論を16人が共有した後の回答である。学習者数や回答数が多くても、クラスサイズという介入の独立反復は各条件 n=1 にとどまる。

第三に、講座のみ条件には、討論条件が持つ追加の学習時間がなかった。討論の有無だけでなく、学習時間や生成量もそろっていない。講座のみ27.5%と2人討論65.0%は、同じ学習予算での比較ではない。

第四に、両端の学習者数も、2人と4人にすぎない。37.5ポイントは、2人討論の2人と講座のみの4人の差である。偶然の個体差を教育法の差から分けるには、独立した授業と討論を増やす必要がある。

「支持」という名前のフラグは、有意性検定ではなかった

生成レポートには、クラスサイズ効果、討論の追加価値、発言責任の効果が「支持されたか」を表す三つのフラグがあった。名前だけを見ると統計的な裏付けがあるように見えるが、実装を読むと、いずれも単純な閾値判定だった。

フラグが問うこと	実際の判定
クラスサイズ効果は支持されたか	4つの討論条件が、人数の増加に合わせて一度も逆転せず、完全に単調減少したか
討論に追加価値があったか	討論条件のどれか一つでも、講座のみを5ポイント超上回ったか
発言責任の効果は支持されたか	5条件10組の比較で、設計どおりの向きが逆向きより多かったか

たとえば「討論に追加価値あり」は、討論条件の一つが講座のみ+5ポイントを超えるだけで真になる。この実行ではすべての討論条件が超えていたが、判定そのものは学習者2人の2人討論だけでも成立する。有意性検定ではなく、不確実性も表していない。逆に、クラスサイズのフラグが偽でも、「サイズ効果がない」とは言えない。1か所でも順位が入れ替われば偽になるからである。

分析文書は、このフラグを根拠に討論を「Bloomの2シグマ問題に対する一つの答え」とまで表現していた。査読では、フラグの計算方法を明記し、その強い解釈を否定する注記を加えた。

講座のみ27.5%には、もっと直接的な原因があった

講座のみ条件は4人が10問ずつ答え、11/40正答だった。10問中4問では、4人全員が不正解だった。しかも11正答のうち4件は、全条件の全員が正解した天井問題から来ている。

実行時の分析は、講座のみ条件が低かった理由として、固定講義と生成講義の違い、4人という小さな標本、固定テキストと学習者役の相性という三つの仮説を挙げていた。しかし、学習者4人の記憶データを全数確認すると、より手前の問題が見つかった。

4人全員の規則一覧から、緑の記号は2点、青の記号は5点という基礎値が抜けていた。黄色は7点だと残っていたが、緑と青は「いつ有効になるか」だけで、「何点なのか」がなかった。

2人は、別の計算例から基礎値を導ける情報を記憶に持っていたが、回答時にはその例を使わなかった。残る2人は計算例そのものが空だった。この欠落で、規則を思い出す問題と複数規則を組み合わせる問題が0/4になったことを説明できる。

したがって、講座のみ条件の低得点を、すぐに講座形式の弱さへ帰属する必要はない。少なくとも二つの0/4は、評価に必要な基礎値が記憶へ残っていなかったという直接的な機構で説明できる。これはv4、v5、v6、v7a、v7bに続き、同じ種類の問題が6世代目にも再発した例である。

準備確認の69%も、そのまま定着度とは読めない

準備確認4問のうち2問は、同じ入力と答えが、固定講義の例題としてそのまま載っていた。講義に答えが載っていた例外問題は100%、規則再生は68%で、載っていなかった手順問題は59%、規則の組み合わせは50%だった。項目別順位は、例題の重複と一致している。

ただし、重複が準備確認の点数を押し上げたとは断定しない。同じ入力は最終評価には出ておらず、講義に似た別の例が載っていた評価問題も、全条件で17.6%と低かった。確認できたのは、69.1%を前提知識の純粋な定着度として読む根拠が弱くなったことまでである。

v9cはどのみち80%基準に不合格だった。そのため、論文が37ポイント差の解釈を保留した判断は、この重複を考慮しても変わらない。重複がより重要になるのは、後続のv9c2で90%を「前提知識が整った証拠」として使う場面である。そこはv9c2の査読へ持ち越す。

自由記述0%には、正しい正答率を付け直せない

規則を言葉で説明する自由記述は、34件すべて不正解と採点されていた。採点器は、意味ではなく正解文や手書きの言い換え一覧との文字列一致を見ていた。

v9cの実際の回答を見て言い換え一覧を後から増やすと、34件中3件が正答へ変わった。しかし、これはv9cの回答に合わせて作った一覧による再採点であり、真の正答率8.8%を示すものではない。同じ一覧をv8とv9bへ使っても、救えた回答は0件だった。世代ごとに表現が違うからである。

したがって、維持できるのは「0%は学習者の帰納能力ではなく、完全一致採点の不良を強く反映している」という解釈までである。修正後の正答率は不明のまま残す。本世代では自由記述を人間が改めて全数判定していない。

査読を終えて残した判断

• 条件別得点と準備確認の数値は、観測値として維持する
• 37.5ポイント差を、討論、クラスサイズ、発言責任の効果として解釈しない
• 結果フラグは計算式を読んでから使い、閾値判定を有意性検定として引用しない
• 講座のみ条件の低得点は、学習者4人の記憶に基礎値が残らなかった機構を先に記録する
• 教材と準備確認の例題重複を開示し、v9c2の90%基準を査読するときに再確認する
• 討論参加者へ講義後の記憶データが渡ったかを、呼び出し側まで確認する
• 学習者数ではなく、独立して生成した授業と討論の本数を標本数として数える
• 講座のみ条件にも同等の学習時間を与え、条件間の学習予算をそろえる
• 自由記述は意味を読む採点へ変え、実行後の回答に合わせた言い換え一覧から正答率を作らない

今回、分析文書には方法論注記への参照を追加し、閾値フラグの読み方、37ポイント差の制約、講座のみ条件で基礎値が欠けた全数確認の結果を追記した。論文がv9cの結果を保留した判断は維持する。

準備確認で誤答した学習者役には、後から正解の解説が記憶へ加えられていた。この解説は、実際に何を誤解したかに応じて作るものではなく、問題ごとに用意した固定文だった。準備確認の合否は解説を加える前に決まるため、69.1%という値は変えない。ただし、その後の改善を個別化された訂正指導の効果とは呼べない。

一方、トークン総量、細かな記憶カバレッジと記憶変化の集計、発言責任スコアの算出式、方法論注記に使われた検査スクリプトは再実行していない。自由記述も本世代では目視判定しなかった。学習者役は4タイプが混在していたため、全員が同じタイプだったという問題は退けられる。教師役と評価役は全条件を通じて各1体で、別の役柄生成でも同じ結果になるかは要検証である。

v9cのセルフ査読そのものは完了した。論文全体の監査、v9c2の準備確認、後続世代への訂正の伝播は残っているため、この日誌は芽の段階（seed）とする。

ここで得たのは、LLMエージェント実験における観察である。人間の授業で2人討論が有効だとか、講座形式が劣ると示したものではない。今回の一番大きな学びは、目立つ得点差に教育上の物語を与える前に、学習者の記憶に評価で必要な基礎値が残っているか、参加者がその記憶を持って討論しているか、独立した討論を何本生成したかを確かめることである。

一次情報源

• 著者によるv9c方法論メモ（2026-06-08）
• 著者によるv9cセルフ査読メモ（2026-08-29）
• geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
• Working paper and research artifact v1.0.0
• v9bのセルフ査読日誌
• v8のセルフ査読日誌