AI査読システムを評価するための新しいベンチマークが公開された。このベンチマークは、実際の論文に対し、一般的なレイアウトエラー、数式ミス、数値不正確、引用漏れという4種類の客観的に検証可能な欠陥を、軽度・中度・重度の3段階の厳しさで挿入する手法で構成され、各システムの検出率と誤警告率を測定する。

評価パイプラインでは、入力論文のLaTeXソースにエラーを挿入し、複数の査読システムの報告書を生成させ、検出結果をクロスファミリーロボットと機械的な検証器（数式はコンピュータ代数、数値はコード実行）で審査する。これにより、検出成功確率とクリーンコピーでの誤警告率を取得できる。

15件ずつの論文コーパス（天体物理学と機械学習）が使用され、Skepthical というマルチエージェント査読者は天体物理学コーパスで約70 %の全エラーを検出した。機械学習コーパスでは Skepthical と GPT‑5.5 が同程度の検出率（約81 %）を示した。

Structured（構造化）プロンプトを用いると、境界線上の高度な LLM で検出率が最大48パーセントポイント向上したが、フリーフォームでは低く、重度エラーで差が顕著に出た。

誤警告率は多くのシステムで10 %以下に抑えられ、Skepthical は天体物理学で2.8 %、機械学習で4.0 %と最も低い。誤警告の多くは数式または数値の不一致を誤判定したものだった。

本ベンチマークは、引用サポート、数式・数値正確性、内部整合性といった客観的欠陥だけを評価し、研究の独創性や重要性、実験設計の妥当性といった主観的要素は測定対象外である。

対象論文はそれぞれ単一の日付の15件で、ページ数は平均13ページ（天体物理学）と9ページ（機械学習）である。したがって、長文や他分野への一般化は別途検証が必要である。