機械学習の評価でよく使われるパフォーマンス指標は、同じ予測結果を解析しても結論が異なることがあります。研究者らは、これを明らかにするために、二値分類から多クラス分類、確率補正、回帰、不確実性検証までを網羅した１５種類の「シナリオベース」実験を作成しました。各シナリオでは入力データは固定され、変数はひとつだけ変更するという設計で、要因が結果に与える影響を直接観察できます。これにより、クラスの発生頻度（プレバレンス）、決定閾値、集計規則、ソフトウェアの実装差異といった要因が、どのようにメトリクスに影響を与えるかを整理することが可能になりました。

実験結果は、複数の機械学習ライブラリと独自実装によって再計算され、各値が整合性を持っていることを確認しました。さらに、20,000回のモンテカルロシミュレーションや10,000回のブートストラップリサンプリングを実施し、再現性を保証しています。これらのチェックは付録に詳細が記載されており、透明性の高い手法を提供しています。

S6というシナリオでは、バリデーションデータで最適化された閾値をテストデータにそのまま適用した場合、予算の観点で最適ではない結果が出ることが確認されました。具体的には、バリデーションでコスト最小化を目指した閾値が、テストセットで279.5というコストを提示し、一方で感度を0.95に制限したルールでは274.0のコストを達成しました。感度を0.95に固定したルールは、テストデータで0.950の感度を維持しながら、F1スコアで最大の0.738を得ることができました。この例は、バリデーションで最適化した手法が、必ずしもテストで最も良い結果を保証するわけではないという警告です。

ただし、これらのシナリオは「メカニズムを分離して示す」ことを目的としています。実際に学術論文でどれくらいの頻度でこれらのメカニズムが観測されるかは調査していません。研究者らは、将来的に実データでの報告慣行を監査する実験を付録にプロトコルとして記載していますが、現在の論文では実行されていません。

結果として、研究者は再現可能なスクリプトと入力ファイル、そして指標選択と報告のためのチェックリストを公開し、機械学習評価の透明性向上に寄与しています。ただし、実際の論文で頻繁に使われている手法を数量的に評価したわけではない点、および計画された実データ監査が未実施である点は留意すべき制限です。