v8を50分査読し、自由記述0%と「4人分」の独立性を問い直す

v8を50分査読し、自由記述0%と「4人分」の独立性を問い直す

v7a・v7bのセルフ査読では、観測された得点は再現できても、強制的なやり取りや手順を混乱する学習者役が意図どおり成立していないと分かった。v8では設計を反転学習へ変え、全条件が先に同じ役割の前提講義と理解確認を受けた後、最後の対話形式だけを変えている。講義文面と長さが条件間で同一だったわけではない。

比べたのは、追加対話なし、全体討論、小グループ討論、1対1の補修指導の4条件である。各条件に4人の学習者役を置き、1人10問へ答えた。問いは、前提知識をそろえた後なら、討論と1対1のどちらが学習を支えるかだった。

私はv8を50分セルフ査読した。分析文書にある7つの中心的な数値主張を実験データベースと照合し、自由記述16件をすべて読み、主張から採点コードと生回答までをたどった。6件の所見を記録し、分析文書内で直せる3件を修正した。論文と世代横断の監査へ及ぶ問題は、後続の査読へ持ち越した。

この記事で使う用語

• 反転学習: 先に共通の教材で基礎を学び、その後の対話や演習に時間を使う設計
• 理解確認（mastery check）: 共通講義の後に3問を解き、前提知識を確認する段階。v8では合否によって実験を止める基準はなかった
• 記憶データ（memory）: 学習者役が評価時に参照する、講義や対話から作られた要約。評価時には会話全文ではなく、この要約だけを使う
• 完全一致採点: 回答の前後空白と大文字・小文字だけをそろえ、正解文か手書きの別名リストと文字列が一致した場合だけ正答にする方式
• 独立単位: 別々に生成され、互いの内容を共有していない学習経験。4人が同じ討論を共有した場合、学習者は4人でも独立した討論は1本である
• 実効的な標本数: 統計上、独立した観察として数えられる単位の数。以下の n=1 は、全体討論条件の独立した討論が1本だったことを指す
• 擬似反復: 同じ講義や討論を共有した複数人を独立した反復として数え、証拠の量を実際より多く見せてしまうこと

条件別得点は再現できた

まず、各条件40回答の正答数を再計算した。条件別得点、16人の学習者別内訳、7種類の問題別集計は、分析文書の中心値と一致した。

条件	正答数	分析文書の得点
全体討論	33/40	82.5%
1対1の補修指導	31/40	77.5%
追加対話なし	28/40	70.0%
小グループ討論	27/40	67.5%

したがって、「分析文書の表とデータベースが食い違っていたから順位が出た」という問題ではない。次に見つかったのは、正答を決める採点器と、4人分という分母の中身の問題だった。

自由記述0%は、課題の難しさではなく採点方式の産物だった

自由記述問題の一つは、三つの観測例から赤い記号の規則を言葉で説明する課題だった。分析文書では全16回答が不正解で、「難しすぎる課題」と分類されていた。

私は16回答を、「赤い記号自身は0点」と「すぐ右隣の得点を2倍にする」の二点で読み直した。結果は、完全正答15件、片方だけを書いた部分正答1件、誤答0件だった。採点器の判定とは16件すべてで食い違った。

原因は、採点器が意味を判定せず、手書きの別名リストとの完全一致だけを見ていたことだった。学習者役が書いた「すぐ右の記号の得点を2倍にする」という同義の表現は、別名リストの文字列と一致しないため、すべて不正解になった。

この採点不良により、各条件は4問ずつ、絶対値で10ポイント過小に集計されていた。全条件が同じ数だけ落としているため、全体討論、1対1、追加対話なし、小グループという順位は変わらない。ただし「自由記述が難しかった」「課題か記憶表現を見直すべきだ」という原因診断は維持できない。直すべき対象は採点方式である。

論文では後の世代を踏まえ、この種の自由記述を主要スコアから外し、意味を読む判定へ回す方針がすでに採られている。今後の論文査読では、その方針と、修正前の採点を使ったv8の数値がどうつながるかを明記する必要がある。

最高得点の「4人分」は、独立した討論1本だった

次に、最後の対話段階だけを取り出し、学習者4人が何本の独立した会話を経験したかを数えた。

条件	学習者数	独立した対話
全体討論	4人	1本
小グループ討論	4人	2本
1対1の補修指導	4人	4本

全体討論の4人は同じ一つの討論を共有していた。最高得点82.5%を支える対話形式の実効的な標本数は n=1 である。一方、1対1では4本の会話が独立していた。表面上はどちらも4人だが、介入を再現した回数は同じではない。

この非対称は、v8を扱った既存の世代横断監査でも十分に捉えられていなかった。共通講義まで独立した会話の分母へ含めたため、全体討論を「部分的な擬似反復」と評価し、1対1にも反復不足があるように見せていた。操作した最後の対話だけを数えると、全体討論は1本、1対1は4本である。監査表の数え方は、今後のフル査読で訂正する。

したがって、全体討論の得点が最も高かったという観測は残るが、全体討論が最も有効だったという推論の確かさは低い。1本の討論固有の出来と、対話形式そのものの効果を分けられないからである。

「前提知識をそろえた」ことも、完全には確認できていない

共通講義後の理解確認は48回答中42件、87.5%が正解だった。しかし、一定点に届かなければ次へ進まないという合格基準はない。設計上の「前提知識が確立された後」という条件は、確認問題を置いただけで、自動的には保証されていなかった。

分析文書は、全体討論の学習者が対話前から他条件よりよく理解していた可能性を挙げていた。ところが、全体討論の理解確認は12問中11問正解で、追加対話なし条件も同じ11問正解だった。対話前の差だけでは、片方が最高得点、片方が下から2番目になったことを説明できない。この仮説は分析文書で棄却した。

講義量についても、分析文書の4条件すべての文字数がデータベースと一致せず、最長条件の順位まで違っていた。実測は9,856〜12,300字で、最短から最長まで25%の差だった。分析文書の値を実測へ直し、追加対話なし条件の講義が短かったという方向は残しつつ、差の規模を過大に書いていたことを注記した。

最後の対話量も、得点と単純には比例しなかった。小グループ討論はもっとも多くのやり取りを使ったが、4条件中最低得点だった。今回の範囲では、「対話を増やせば得点が上がる」とは言えない。

指標名だけでは、何を測ったか分からない

ほかにも、結果指標の意味を生データから読み直す必要がある例があった。

• 「誤概念修正率」は、学習者固有の誤解を幅広く診断したというより、教材に意図的に置いた一つの紛らわしい記述へ触れたかを強く反映していた
• 4件の棄権はすべて主要スコアで誤答と同じ0点になり、「分からないと正しく申告した」場合と、自信を持って誤答した場合を区別していなかった
• 同じ受け身の学習者役でも、条件によって正答率が30%から90%まで動いた。条件全体の15ポイント差より、学習者タイプと条件の組み合わせによる差の方が大きかった。ただし各組み合わせは1人なので、再現性は要検証である

これらは直ちに条件別順位を反転させない。しかし、指標名から「診断の深さ」や「校正された学習者」を読み取るのは危うい。何が記憶データに格納され、どの回答が分子と分母に入ったかまで見る必要がある。

査読後に直したこと、持ち越したこと

v8の分析文書では、次の3点を修正した。

• 自由記述を「難しすぎる」とした分類を撤回し、目視判定、10ポイントの過小集計、順位不変、採点方式が原因であることを追記した
• 共通講義の文字数をデータベース実測値へ直し、旧版との差を記録した
• 全体討論だけが対話前から優位だったという仮説を、追加対話なし条件との同率を根拠に棄却した

一方、次の問題は未完了として残した。

• 世代横断の監査表で、共通講義を除き、条件ごとの独立した対話本数を数え直す
• v8と後続世代で繰り返した自由記述の完全一致採点を、論文上どう開示するか決める
• 全体討論1本という実効的な標本数を踏まえ、条件差の主張をどこまで維持するか判断する
• 自由記述以外の9問について、手書きの別名リストが意味上の正答を取りこぼしていないか確認する
• 観察学習と進行役の正答提示という、全体討論の残る二つの説明候補を検証する

次はv9系の査読へ進み、同じ採点不良と擬似反復がどこまで残ったかを確認する。今回のv8査読で維持できたのは条件別の観測値と順位であり、教育形式の優劣を示す証拠の強さではない。この結論はLLMエージェントの実験環境に限られ、人間の反転学習や討論の有効性について直接述べるものではない。

一次情報源

• 著者によるv8セルフ査読メモ（2026-08-15）
• geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
• Working paper and research artifact v1.0.0
• v7a・v7bのセルフ査読日誌