すべての人に一次情報を
BUMP(Brief Unexpected Mid‑Interpolation Peak)は、パーミュテーション整列済みのニューラルネットワークの重みを線形混合すると、テスト精度が端点に近いほど一時的に向上することを示す。
重み混合は、モデルAと整列済みBの重みを (1−λ)A+λB で組み合わせ、λ が 0.1 または 0.9 近辺に設定するだけで実現する。
CIFAR‑10 上の ResNet‑20(幅16×)での実験では、BUMP が端点モデルより 0.181 % の精度向上を示した。図1に示すとおり、幅4×と8×では改善が小さいかむしろ負になる。
| Accuracy gain % — Aligned pairs | ||
|---|---|---|
| Width | Fixed-λ | Test |
| 4x-width | 0.053(±0.096) | 0.087(±0.081) |
| 8x-width | 0.118(±0.111) | 0.164(±0.117) |
| 16x-width | 0.181(±0.137) | 0.227(±0.140) |
さらに、極端な 95 % 量子化を行った場合、幅4×では BUMP が 1.6 % まで精度向上し、密なモデルの 0.18 % を上回った。図1にこの増幅データが収録されている。
ノイズ方向への混合(ランダム方向)では、BUMP の効果はほぼゼロまたは負で、量子化などの実際的操作に比べて構造的重み関係が重要であることを示す。
最終的に、BUMP はほとんどの場合、より近い端点モデルのトップ‑1 ラベルを保持し、僅かなケースでラベルが第二選択に変わるだけである。図2はこの同一性を数値で示している。


また、重み混合に論理混合(logit mixing)を加えた Weight‑Prediction Mixed Ensembling(WPME)のロジットバリアントは、同じ条件で 0.226 % の精度を達成し、BUMP や従来の logit ensemble を上回っている。さらに、期待校正誤差は 0.010 に改善された。
以上の結果は、重み空間での短時間の線形混合が既に学習済みのモデルから追加の精度を得る方法として有望であることを示唆しているが、幅、整列、除去率などに依存する点に留意が必要である。