すべての人に一次情報を
ICLR(国際機械学習会議)の査読において、審査員同士が指摘する問題の重複率が2026年の12.0%から2027年の21.3%に増加したことが報告された。
同じ論文に対して第三の査読者が加わった場合、独自に指摘される問題数が2026年の6.12件から2027年の5.46件へと減少しました。
この分析では、各査読文書から主張(クレーム)を抽出するためにGPT‑6 Lunaという言語モデルを1回目のパスで使用し、引用文、パラフレーズ、カテゴリ、対象論文要素を出力しました。2回目のパスで同じGPT‑6 Lunaを使い、同一の問題文と論文要素を持つ主張をグループ化しました。
集計結果、同一論文内で「フラグ付き」レビューのペア(少なくとも1件がLLM検出器によってフラグ付けされたもの)と「フラグなし」レビューのペアの重複率差(=フラグ付きペアの重複率 minus フラグなしペアの重複率)が、ICLRでは+7.4ポイント、5つの学術誌(NeurIPS、ICML、F1000、PLOS等)では+5.4ポイントとなった。
グルーピング方法をGPT‑6 Luna、Sol 6.1、DeepSeek V4.1 Flash、Kimi K3.1 Pro、議会多数決の5種類で試したところ、得られたギャップは+7.0から+7.4ポイントと類似しており、手法選択によりわずかな差が生じるものの、正の値が保たれた。
LLM生成テキスト検出器MELDとGigaCheckの二者によるフラグ付けでは、フラグ付きペアのギャップがICLR 2024–25で+3.0ポイント、ICML 2025–26で+5.5ポイントと報告され、どちらのツールを使ってもポジティブな結果が得られる。
しかし、重複度は使用するグルーピング手法に依存し、MELDはLLMが編集した人間レビューをフラグ付けし、LLMが多くの場合生成したテキストしか検出できない場合があるため、フラグの有無だけでLLMの関与を決定できない点に留意が必要である。
これらの結果は、査読プロセスが年々同質化していることを示唆し、LLMの影響を評価する際には検出器とグルーピング手法の選択が重要であることを示している。