論文を120分査読し、v1.1公開でセルフ査読を一区切りにする

論文を120分査読し、v1.1公開でセルフ査読を一区切りにする

Agent-Based Theory Testingの査読が終わり、v1.1.0を公開した。これでセルフ査読はいったん完了とする。

前回の日誌では、各世代と監査文書の12件を読み終え、論文本体と全体通読を大きな山場として残していた。今回は第6〜9節を中心に120分かけて査読し、前書きから結論・付録まで通読した。予定していた13件がそろった。

最後に必要だったのは、個別の査読で見つけたことを、一つの論文として矛盾なく説明できる状態へ戻す作業だった。数値を維持できる箇所でも、その理由として書いた説明は撤回しなければならなかった。未測定のものは未測定と書き、再計算できないものは、その制約を公開物に残した。

今回の査読で扱ったもの

この研究では、大規模言語モデル（LLM）に学習者、教師・個別指導者、討論の進行役、評価者を演じさせている。架空のゲームの規則を教え、授業や討論の形式によって正答率がどう変わるかを調べた。人間の個別指導で知られるBloomの2シグマ問題を、この人工的な環境で検証する試みである。

用語	この記事での意味
学習者の記憶	授業後に作る規則や解法の要約。評価時にはこれを参照する。モデル自体の重みを更新する学習ではない
準備確認	討論前に前提知識を確かめる4問のチェック。論文ではreadinessと呼ぶ
L6	自由記述を含む評価課題の区分。文字列の完全一致では意味の正しさを測れない問題があった
独立した討論	別々に生成された会話。同じ会話を共有した人数を、そのまま実験の反復数にしない
切り分け実験	複数の修正の一部だけを外して比べる実験。今回は独立討論数を各条件5本から1本へ戻したもの

査読の入口は、各世代からの持ち越しを集めた一覧だった。論文の修正が必要なもの、監査表や生成レポートの扱いを決めるものを、最終査読で確認した。

数値の照合と、説明の妥当性は別だった

論文査読記録では、付録に載せた9世代の学習者数、v9c2の5条件の正答率、準備確認の内訳、学習者タイプ間の得点差が、保存されたデータベースと一致した。世代別の分析文書で見つかった数値誤りは、照合した論文本体の主数値には伝播していなかった。

ただし、数値が合うことだけでは十分ではなかった。

前回の監査で、v8の全体討論は独立した会話1本を4人で共有しており、「部分的な疑似反復」とする評価を訂正した。同じ会話を何人分も独立な観測として数える問題である。その訂正が論文には届いていなかったため、第6節と付録を更新した。v9c2で各討論条件5本の独立反復を実現したことも、論文の説明へそろえた。

v8で討論参加者へ教材や講義後の記憶が渡らない問題も、「部分的」とした記述を改めた。記録上は正しい規則を使った発言もあったが、それだけで教材を受け取っていた証拠にはならない。モデルが即興で補った可能性があり、その機序は確定できない。

観測を残し、機構説明を撤回する

最も大きな訂正の一つは、「手順を混乱させた学習者」という設定だった。

実装は、記憶の中にある規則の一覧を並べ替えていた。しかし解法の手順は別の欄にあり、そこには触れていなかった。v7bの12名全員に正しい解法順序が残り、そのうち8名は手順を教える介入も受けていない。狙っていた「手順を失った状態」が成立していなかった。

これまで、誤解を訂正しても得点が上がらない現象を、手続き的な欠損が残ったためだと説明していた。しかし、その欠損を作れていなかった以上、この説明は維持できない。私は論文の該当3箇所を修正し、誤解修正と得点の乖離は観測として残しながら、理由を特定できていないことを明記した。

v9c2の学習者タイプ間の38.4ポイント差は、別の二つのタイプが両端なので、この訂正で数値が変わるわけではない。ただし、設定したタイプ名が、その性質を実際に操作できた証拠になるわけでもない。観測値を保つことと、説明を保つことは別の判断だった。

「0%」と「測れていない」を区別する

L6では、意味を読むLLM評価者へ回答を渡していても、その判定が正誤を記録する欄（answer_correct）へ保存されていなかった。小規模な動作確認データでは、評価者が20点満点中11〜20点を付けた回答でも、正誤欄は空のままだった。集計はそれを誤答として数えてしまっていた。

主要スコアからL6を外す処置は機能している。一方、意味に基づく評価を有効な測定値として得るところまではできていない。そのため論文には、今回報告するどの世代にも、検証済みのL6測定値は存在しないと追記した。

公開時にはレポート生成コードも修正され、採点経路に応じた説明と、判定が保存されていない場合の「未測定」表示が加わった。これは表示の訂正であり、過去の実験を再実行して欠けた測定を回復したことではない。

切り分け実験は元のデータベースを失っているため、保存されたレポートをそのまま公開する。その中に対象外の条件の表や古い採点説明が残ることは、論文冒頭で注記した。再計算できない資料を、再生成できたものとして扱わない判断である。

条件差が小さくなったことを、効果の不存在へ広げない

v1.1では、クラスサイズ、学習者の主体性、討論の付加価値について、大きな効果を確認できなかったという三つの結果を分けて書いた。ここでの主体性は、指名されたり発言したりする程度を実装上の指標にしたものである。

v9c2の条件間の最大差は約10ポイントだった。しかし、各討論条件の独立反復は5本であり、基準となる講義＋自己省察条件も反復が不足している。結果の判定フラグは一定の順位や差を満たすかを見る仕組みで、統計的な有意性検定ではない。付録にはその判定式も追加した。「大きな効果を確認しなかった」から「効果が厳密にゼロである」へ進める根拠はない。

準備確認にも留保を加えた。4問中2問は、答え付きの例題として講義に登場していた。したがって、通過率90.3%を前提知識の定着そのものと読む根拠は弱まる。ただし評価課題では同じ傾向が見られず、重複が通過率の高さを生んだと断定もしていない。

また、同じ講義・同じ準備確認でも、規則の組み合わせを問う項目の通過率は50%、85%、12%と大きく振れた。この変動を十分に説明できていないことも限界へ加えた。複数の是正を同時に行ったため、条件差の縮小を独立反復の増加だけに帰すこともできない。

査読記録自身にも、訂正が必要だった

持ち越し一覧には、37ポイント、25ポイント、10ポイントという三つの条件差が、いずれも2人討論と講義条件の差だとする記述が残っていた。これはv9c2について誤りだった。

2人討論と講義条件が両端なのはv9cと切り分け実験である。v9c2の両端は8人討論の86.1%と4人討論の75.6%だった。この点は前回の日誌でも確認課題にしており、最終査読で査読記録を訂正し、論文にも正しい対応を記した。

査読用の要約も、元データから離れれば誤った一般化を含みうる。最終査読では、論文を持ち越し一覧に合わせるだけでなく、その一覧の記述も確かめ直した。

全体通読と公開を終える

全体通読では、AIが研究に関与した範囲の説明を、自分の認識と照合した。研究の問いを立て、各世代の設計を承認し、出力をレビューしたという人間側の役割は実態と一致していると判断した。限界の節には不足があり、今回確認した教材重複、L6の未測定、成立していない学習者タイプなどを追記した。

v1.1.0の公開記録には、全13件のセルフ査読記録に加え、日本語訳、組版した18ページの英語PDF、解決できなかった参考文献DOIの訂正、開発ログのv1・v3の説明訂正が含まれる。7月の公開版に、著者が読み直して確かめた範囲と修正履歴を加えた版になった。

資料の時点には注意が要る。持ち越し一覧の冒頭は公開前実務も完了としている一方、末尾には通読や組版などの宿題が残っている。最終査読記録にも公開前の未実施項目がある。この日誌では、通読は本人の確認欄、公開時の変更はリリース記録を根拠にした。古い宿題一覧だけを使って、現在も未完了だとは判断しない。Zenodo側の説明更新など、個別の実施結果を今回直接確認していないものまで完了の証拠を補うこともしない。

セルフ査読の完了と、研究上の限界

私はこの公開をもって、今回のセルフ査読を一区切りにする。論文は引き続き、第三者の査読を受けていないワーキングペーパーである。著者自身の確認を終えたことと、独立した第三者が追試したことは区別する。

L6の測定経路、教材と重複しない準備確認、条件間の学習量の差、独立反復の数、元データを失った実験は、研究上の限界として残る。今後追試するなら扱うべき課題だが、この日誌で追加実験の実施を決めたわけではない。また、ここまでの結果はLLMエージェント環境についてのものであり、人間におけるBloomの主張を覆すものではない。

日誌の作成では公開された査読記録・論文・リリース記録を照合した。実験データベースの再集計や実験の再実行は今回行っておらず、数値照合の実施は査読記録に基づく。日誌自体は、今後の人間による確認を残すgrowingとする。

一次情報源

• v1.1.0リリース
• 持ち越し一覧
• 論文本体のセルフ査読記録
• 公開版の英語論文
• 公開版の日本語訳