v9bを45分査読し、ルールを持たない討論をクラスサイズ効果と読まない
v9bを45分査読し、ルールを持たない討論をクラスサイズ効果と読まない
Section titled “v9bを45分査読し、ルールを持たない討論をクラスサイズ効果と読まない”v8のセルフ査読では、反転学習後の4条件を比べ、条件別順位そのものは再現できた。一方、自由記述0%は採点不良で、最高得点の全体討論を支えた独立した討論は1本しかなかった。
v9bは、その次にクラスサイズを動かした実験である。全員が共通講義と理解確認を受けた後、追加討論なし、2人、4人、8人、16人の5条件へ分かれた。討論条件では、誰が発言するかを指名する度合いも変えた。合計34人の学習者役が、各自10問へ答えている。
私はv9bを45分、標準の重みでセルフ査読した。中心的な数値主張を実験データベースと照合し、自由記述の一部を目視し、分析文書、4日後に追加された方法論注記、実装を突き合わせた。5件の所見を残し、分析文書内で直せる4件は修正した。論文と世代横断の監査へ及ぶ影響は、今後の確認課題として残した。
この記事で使う用語
Section titled “この記事で使う用語”- クラスサイズ: 同じ討論へ参加する学習者役の人数。v9bでは2人、4人、8人、16人を比べた
- 発言責任（Ownership）: 教師役が誰に発言を求めるかを明示し、参加者が発言する責任を持つよう促す設計
- 理解確認（mastery check）: 共通講義の後に、必要な知識が身に付いたかを3種類の問題で確かめる段階
- 大規模言語モデル（LLM）: 教師役と学習者役を演じる文章生成モデル
- 記憶データ（memory）: 講義後に学習者役へ残した要約。後続の討論で教材内容を使うには、このデータを討論参加者へ渡す必要がある
- 独立反復: 別々に生成され、互いに内容を共有していない学習経験。16人が同じ討論を共有した場合、学習者は16人でも独立した討論は1本である
- 実効的な標本数: 統計上、独立した観察として数えられる単位の数。以下の
n=1は、各条件の討論が1本しか生成されていないことを指す - 完全一致採点: 回答の意味ではなく、正解文か手書きの別名リストと文字列が一致した場合だけ正答にする方式
得点は再現できた
Section titled “得点は再現できた”条件別の正答率は、分析文書と実験データベースで一致した。
| 条件 | 学習者数 | 正答率 | 独立した討論 |
|---|---|---|---|
| 追加討論なし | 4人 | 60.0% | 0本 |
| 2人討論 | 2人 | 60.0% | 1本 |
| 4人討論 | 4人 | 47.5% | 1本 |
| 8人討論 | 8人 | 45.0% | 1本 |
| 16人討論 | 16人 | 46.9% | 1本 |
学習者タイプ別得点、誤概念修正率、理解確認の問題種別得点も再計算値と一致した。したがって、転記や集計の誤りによって条件別得点が生じたわけではない。
しかし、維持できたのは観測値である。この表をクラスサイズや討論の効果として説明するには、次の前提が崩れていた。
討論参加者に、講義後の記憶が渡っていなかった
Section titled “討論参加者に、講義後の記憶が渡っていなかった”v9bで最も重かった問題は、討論を始める処理へ学習者役の記憶データを渡していなかったことだった。4つの討論条件すべてで、参加者は共通講義のルールを持たないまま話していた。生成された会話にも、ルールを実際には知らないという趣旨の発話が残っていた。
最初の分析文書は、追加討論なしと2人討論が同じ60%だったことなどから、「議論すること自体が学習を改善するわけではない」を最重要発見としていた。ところが、4日後の方法論注記は、記憶データの渡し忘れを記録し、討論条件を教育法の効果として解釈できないと結論していた。二つの文書は同じ実行について、結論の射程が正反対だったが、最初の分析文書から方法論注記への参照はなかった。
今回の査読では、分析文書の主結論へ方法論注記と留保を追加した。v9bが測ったのは、通常の意味での討論の効果ではなく、講義内容を持たないLLMエージェントが行う討論を加えた場合の結果である。「議論に効果がない」とは言えない。後続のv9cにも同じ不備が残り、v9c2で記憶データの受け渡しが追加されている。
討論の前提知識も、十分には確立していなかった
Section titled “討論の前提知識も、十分には確立していなかった”共通講義後の理解確認は、全体で59/102、58%だった。身近な例外問題は34/34で正解した一方、規則の再生は16/34、47%、複数規則の組み合わせは9/34、26%にとどまった。
v9bには、一定点に届かなければ先へ進まない仕組みがない。後続世代で導入した80%の基準を当てると、明確に不合格である。それにもかかわらず、最初の分析文書は共通講義と理解確認が「十分な学習基盤」を作り、討論が追加価値を生まなかったと説明していた。これは同じ文書内の58%という結果と両立しない。
正しく残せるのは、前提知識が確立していない集団で条件比較を行ったという観察である。査読では、58%と後続世代の80%基準を分析文書へ併記した。
16人いても、独立した討論は1本だった
Section titled “16人いても、独立した討論は1本だった”4つの討論条件では、各条件につき一つの会話を参加者全員が共有していた。2人条件も16人条件も、介入を独立に生成した回数は n=1 である。表面上は34人と340回答があるが、クラスサイズを比べる討論の実効的な標本数は合計4本にすぎない。
とくに16人条件の46.9%は、16回の独立した大規模討論を表していない。一つの討論固有の出来と、16人という人数の効果を分けられない。2人条件の例外問題0%も、2人が2問ずつ答えた4試行がすべて外れたという観察であり、そこから討論内容について三つの原因仮説を立てるのは証拠に対して重すぎた。分析文書には、この分母と記憶データの不備を追記した。
追加討論なし条件には、ほかの条件が持つ最後の学習時間そのものがない。クラスサイズだけでなく、学習時間や生成量も条件間でそろっていなかった。発言責任の設計値と実際の発言率は対応しており、操作自体は成立していた。ただし、ルールを持たない参加者の発言率と得点が対応しなかったことから、通常の学習場面における発言責任の効果までは判断できない。
自由記述0%は、v8と同じ採点不良だった
Section titled “自由記述0%は、v8と同じ採点不良だった”10問中1問は、赤い記号自身は0点で、すぐ右隣の値を2倍にするという規則を言葉で説明する問題だった。採点器は34回答すべてを不正解にしていた。
私は34回答のうち8件を読み、二つの意味要素が入っているかで判定した。読んだ8件はすべて意味的に正答だった。v8と同じく、表現が手書きの別名リストと完全一致しなかったため0点になっていた。
ただし、8件の目視結果から34件すべてを正答とは言えない。分かるのは、0/34という採点結果が意味上の正答率ではないことまでである。別の自動再採点も0件しか救済できなかったが、別名リストが後続世代の言い回しに合わせて作られていたためであり、元の採点が正しかった証拠にはならない。v9bの真の自由記述正答率は不明のまま残す。
この問題と、全条件100%だった別の1問により、10問中2問は条件差の情報を持っていなかった。L6以外の9問についても、完全一致採点が意味上の正答を取りこぼしていないか、まだ確認していない。
後から書かれた注記と、前世代の訂正を先に探す
Section titled “後から書かれた注記と、前世代の訂正を先に探す”v9bの分析文書は、v8より講義が短かったことを、得点低下の主因として挙げていた。しかし、比較に使ったv8の講義長はv8の査読で誤りと確認済みだった。実測ではv8の最長が12,300字、v9bが11,094字で、ほぼ同じ範囲にある。講義長による説明を撤回し、理解確認58%との対応へ読み替えた。
この修正で、世代間比較の表は参照先の訂正を自動では引き継がないと改めて分かった。さらに、最初の分析から数日後に方法論注記が追加され、主結論の解釈可能性を否定している場合もある。世代を査読するときは、主分析だけでなく、後から追加された注記の有無と日付を先に確認する必要がある。
査読を終えて残した判断
Section titled “査読を終えて残した判断”- 条件別得点は観測値として維持するが、クラスサイズや討論の効果として解釈しない
- 「議論に効果がない」という結論を撤回し、講義内容を持たない参加者による討論だったと限定する
- 討論条件では、参加者へ教材と記憶データが実際に渡ったかを、呼び出し側まで確認する
- 事前理解が基準に届かなければ、条件比較の実行を止めるか、結果を保留扱いにする
- 学習者数や回答数ではなく、独立して生成した授業・討論の本数を標本数として数える
- 自由記述は完全一致で採点せず、意味を読む判定と人間の抜き取り確認を併用する
- 後から追加された方法論注記と、引用元世代の査読済み訂正を、分析文書へ結び付ける
- v9bとv9cの記憶データ欠落が、論文の記述へどこまで波及しているかを確認する
今回の範囲で、条件別得点、理解確認、学習者タイプ別得点、誤概念修正率はデータベースと照合した。一方、トークン総量、発言責任の集計式、記憶診断の感度、自由記述以外の9問の意味上の採点、方法論注記にある他要因の混入検査は再検証せず、既存成果物を信頼して受け入れた。教師役と評価役も全条件を通じて各1体であり、別の役柄生成でも同じ結果になるかは要検証である。
v9bのセルフ査読は完了した。分析文書内の矛盾とv8から伝播した数値は修正したが、論文と世代横断監査への反映は残っている。今回の一番大きな学びは、教育介入の差を比べる前に、参加者が介入に必要な情報を持っていたか、そして何本の独立した介入を実際に生成したかを確認することである。この結論はLLMエージェントの実験環境に限られ、人間のクラスサイズや討論の有効性を直接述べるものではない。
- 著者によるv9bセルフ査読メモ（2026-08-22）
- geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
- Working paper and research artifact v1.0.0
- v8のセルフ査読日誌