リファインド再現可能アーティファクト（RRA）を用いると、実験の再現成功率が最大23.2パーセントポイント（pp）上昇し、API呼び出しにかかるコストが約20％減少します。

本研究では、ReproBridgeというフレームワークを使い、コードベースを洗練させ、環境設定スクリプト、ランチャー、再現ガイドのひとまとめのアーティファクトを構築しました。これにより、個々の実験を単純に実行するだけでなく、再現性を自動で監査できるようになりました。

実験は36本の論文、1,029のタスクで行い、4つの大規模言語モデル（Sonnet 4.6、Sonnet 5、Opus 5、Gemini 3.8 Flash）を対象としました。比較結果は次の通りです。 ・Sonnet 4.6で成功率が19.3 pp上昇し、APIトークン使用量が19.8 %減少 ・Sonnet 5で成功率が16.8 pp上昇し、APIトークン使用量が9.2 %減少 ・Opus 5で成功率が5.5 pp上昇し、APIトークン使用量が6.3 %減少 ・Gemini 3.8 Flashで成功率が23.2 pp上昇し、APIトークン使用量が18.3 %減少