すべての人に一次情報を
極端値予測(例えば、80%以上の確率で発生しない範囲を予測する場合)を比較する際、実際に必要なサンプルサイズは「上回り日数」、すなわち予測区間を超えた日の数であることが判明した。全観測数ではなく上回り日数をサンプルサイズとして扱うことで、正確な評価が可能になる。
上回り日数が十分に少ない(例えば、1%のミスカバレッジレベルで12日しかない場合)と、Diebold‑Mariano(DM)検定は誤って保守的でないモデルを優れたものと判定しやすい。実際に、標準的な小サンプル補正を行ってもこのバイアスは除去できず、ブートストラップ‑t 版は大きく緩和する。
さらに、任意時点で有効な信頼シーケンスを構築するために、経験的Bernstein境界を用いた手法が開発された。この手法は分布仮定を一切要求せず、ミスカバレッジレベルαに対して必要なサンプル数が1/α倍に増えるという最適な率を実現する。対照的に、従来のHoeffding型手法は同じαで1/α倍以上のデータが必要となる。
調査は、7つの株価指数で250日間の97.5%区間に対して実施した。保守的でないモデルが有意に優れていると判定されたケースは計18.4%で、残りの日の順位と矛盾していた。保守的モデルが優れていると判定されたケースは6.9%であり、差があることが示された。
この結果は、極端値予測を評価する際には上回り日数を数えること、またDM検定の結果を解釈する際には保守性のバイアスを考慮する必要性を示唆している。