監査文書を30分査読し、最後の全体通読を前にする

監査文書を30分査読し、最後の全体通読を前にする

今日は、実験世代を横断する監査文書を30分かけてセルフ査読した。個別の実験を読む作業が積み重なり、査読の着地点が見えつつある。

ただ、最後には論文の全体通読がある。ここが大きな山場になりそうで、今週はできないかなー、というのが今の感想だ。今回の監査でも、個々の数値が合っていることと、研究全体を正しく説明できていることの間に、まだ点検する余地があった。

今回は、実験を横断する説明を読んだ

この研究では、大規模言語モデル（LLM）が学習者、教師、個別指導者、評価者の役を担い、授業や討論の形式を変えて得点を比べている。その比較に、調べたい教育条件以外の違いが混ざる問題を、交絡として分類してきた。

今回の対象は、どの世代にどの問題が残っているかをまとめた監査表だった。論文が「どこまで条件をそろえられたか」を説明する根拠になる。個別の実験で修正していても、この表が古いままなら、研究の現在地は伝わらない。

この記事で使う用語

用語	ここでの意味
独立した会話	学習者ごとに保存された行数ではなく、別々に生成された授業・討論・個別指導の会話。同じ会話の複製を何本にも数えない
疑似反復	同じ授業や討論を共有した学習者の記録を、独立した実験の反復として数えてしまう問題
学習者プロファイル	記憶の保持や誤り方など、学習者役に与えた設定。人間から観察した学習者分類ではない
切り分け実験	複数の修正のうち一つを外して比べる実験。今回はv9c2の独立討論数だけを各条件5本から1本へ戻したもの

同じ4人でも、会話は1本・2本・4本だった

v8のセルフ査読から持ち越していたのが、会話数の分母に共通講義が混ざる問題だった。

元の監査表は、全体討論、少人数討論、個別指導の3条件を、いずれも「部分的な疑似反復」としていた。私は集計スクリプトを再実行し、監査表と同じ数値が出ることを確認した。その後、何を数えているかを実装とデータへ戻って調べた。

スクリプトは、会話内容が同一かどうかを調べていたが、共通講義と、その後の追加学習を区別していなかった。全条件に同じ講義があり、それが学習者4人分の行として保存されていた。

v8の条件	共通講義を含む集計	追加学習だけの集計
全体討論	保存8行・異なる会話2本	保存4行・異なる会話1本
少人数討論	保存8行・異なる会話3本	保存4行・異なる会話2本
個別指導	保存8行・異なる会話5本	保存4行・異なる会話4本

比べたい操作は、共通講義の後に行う追加学習だった。そこだけを数えると、全体討論は1本の会話を4人で共有し、少人数討論は2本、個別指導は4人それぞれに別の会話があった。

全体討論を「部分的」と軽く扱うのは誤りだった。一方、個別指導まで同じ問題があるとした評価は厳しすぎた。共通講義を混ぜたことで、3条件の違いを見失っていた。

数値は再現したが、数える単位の選び方が間違っていた。 監査表の3行とまとめを訂正し、なぜ旧集計では見え方が変わったのかも追記した。集計が再現するだけで確認を終えず、操作した段階に対応する記録を数えているかまで見る必要があった。

是正した世代が、監査表に載っていなかった

もう一つ大きかったのは、監査表がv9cで止まっていたことだ。v9c2は、それまでに見つけた問題を是正するために実行した世代なのに、その結果が入っていなかった。

古い表だけを読むと、どの世代も同じ会話を複数人に共有したまま終わったように見える。実際には、v9c2の4つの討論条件では、異なる会話が各5本あることを監査時の再実行で確認できた。

そこで、v9c2を実行の対応表、会話数の表、学習者・教師役の構成表、まとめへ追加した。討論の疑似反復については、是正されたことが読み取れるようにした。ただし、これは討論条件についての修正であり、学習量の非対称や講座＋自己省察条件の反復不足まで解消したという意味ではない。

独立討論を1本へ戻した切り分け実験も、対応表と会話数の表へ追記した。こちらは元のデータベースが失われているため、保存された実行結果レポートからの転記であり、元データから再計算できたv9c2とは根拠の強さが違う。

実験を直したら、その結果を監査表にも戻す。今回の訂正で、これも是正作業の一部だと分かった。問題を見逃さないことに加えて、直した問題を古いまま残さないことも必要だった。

「種類がない」を、一種類に数えていた

v5とv6の学習者プロファイルは、監査表では5種類とされていた。しかし実際には、設定のある4種類に、設定を持たない3人分のカテゴリを足していた。

この3人は教育を受けない比較条件の学習者役で、設計上プロファイルを持たない。集計スクリプトが空の設定を一つのカテゴリへまとめたため、それを多様性の一種類として数えてしまった。

種類数は4へ訂正した。後の世代との差は、種類が増えたことではなく、各タイプの人数の偏りが小さくなったことだった。欠損や設定の不在を、実際の属性の種類と混ぜないようにしたい。

監査表が扱う範囲も明記した

表の「監査項目」という見出しからは、比較をゆがめる要因を網羅しているように読めた。しかし、まとめが扱うのは、疑似反復、学習者設定の多様性、教師・指導者・評価者の各役をそれぞれ同じ1体で使い回すことの3項目だけだった。

修正用の説明文が固定テンプレートだった問題、採点方式による見かけの得点、討論への記憶データの受け渡し漏れ、学習量の非対称は、世代ごとの補足説明に分散していた。どれも、会話の反復数とは別に結果の解釈へ関わる。

今回は、この表が3項目だけを扱うことと、残りの項目は別途確認が必要なことを明記した。全項目の世代別一覧を作り終えたわけではない。各世代の補足説明同士の整合性も、今回まとめて再検証した範囲には入らない。

監査表の修正と、論文へ残る仕事

今回の所見は6件だった。修正が必要な5件は監査文書へ反映し、残る1件は、集計を再実行できたことや、意図的な実験設計を欠陥と決めつけていなかったことを記録した。実行数の古い記述も訂正し、本番前の小さな動作確認と本番実行を取り違えないための注意書きも追加した。

持ち越していた監査表の集計単位と、実行の取り違えに関する対応は済んだ。一方、次の三つは論文査読へ残った。

• 結果を解釈する判定フラグ: 「効果を支持する」という名前でも、実際には一定の数値差や順位を満たすかだけを見る仕組みであることを、引用先でも明示する
• 生成レポートの古い表示: 存在しない教育条件の列や、自由記述採点について同じ表の中で食い違う説明をどう扱うか決める。元データベースのない実行は再生成できない
• 監査項目の横断的な一覧: 今の表が扱わない採点、記憶の受け渡し、学習量などを、世代ごとの主張と対応づける

今回、私が実装からデータまで通して確認した中心は、v8の会話数の集計だった。学習者設定の分布もデータベースで数え直したが、過去世代の役の使い回しについては監査表の記載を受け入れた部分がある。各世代の補足説明も読んだうえで、個別査読の結果を引き継いでいる。監査表を査読したことを、全世代の全項目をもう一度検証したこととはしない。

最後の通読では、訂正が全体へ届いているかを見る

日誌化にあたって記録を照合すると、前回訂正した最大差の両端についても、古い要約が残っていた。v9c2の最大差は8人討論と4人討論の10.5ポイントであり、v9cや切り分け実験と同じ2人討論と講座条件の組み合わせではない。この点も全体を読むときに照合する必要がある。

個別の訂正が済んでいても、その訂正が研究全体の説明へ届いたとは限らない。今回、監査表に是正後の世代が載っていなかったことも、その一つだった。

各世代と監査文書を合わせて12件のセルフ査読が終わり、予定している査読単位では、論文本体の第6〜9節を扱う1件が残った。それとは別に、他者へ査読を頼む前に自分で論文全体を通読する仕事がある。

「大きな効果を確認しなかった」が、途中で「効果がない」へ変わっていないか。修正した処理について、呼び出したことと結果へ反映されたことを同じに書いていないか。AIが研究に関わった範囲の説明は自分の認識と合っているか。限界の節には、これまで見つけた問題が十分に残っているか。最後は、一つの論文として読みながら確かめることになる。

着地点は見えてきた。それでも、残り1件という数だけでは、この通読の重さは表せない。個別の実験を一つずつ読む作業とは違う大きな山場を前にしている。今週はそこまでできないかなー、と思っている。

監査文書の査読は完了したが、論文本体での判断と全体通読はこれからである。そのため、この日誌は芽の段階（seed）とする。今回整理したのはLLMエージェント実験の比較と説明の妥当性であり、人間の授業への効果を示すものではない。

一次情報源

• 著者による世代横断監査のセルフ査読と訂正・持ち越し事項の記録（2026-09-12）
• 著者による全体通読を前にした振り返り（2026-09-12）
• geeknees/Agent-Based-Theory-Testing-2-Sigma-Problem
• v8のセルフ査読日誌
• v9c2のセルフ査読日誌
• 独立討論を1本へ戻した切り分け実験の査読日誌