arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
機械学習日本語公開済み

BUMP: 重み混合がモデル端点近くで一時的に精度を向上させる現象

2026年11月9日arXiv: 2611.08182v1

BUMP(Brief Unexpected Mid‑Interpolation Peak)は、パーミュテーション整列済みのニューラルネットワークの重みを線形混合すると、テスト精度が端点に近いほど一時的に向上することを示す。

重み混合は、モデルAと整列済みBの重みを (1−λ)A+λB で組み合わせ、λ が 0.1 または 0.9 近辺に設定するだけで実現する。

CIFAR‑10 上の ResNet‑20(幅16×)での実験では、BUMP が端点モデルより 0.181 % の精度向上を示した。図1に示すとおり、幅4×と8×では改善が小さいかむしろ負になる。

幅ごとの重み混合精度向上率を示した表。16×幅で0.181 %、8×で0.118 %、4×で0.053 %の向上率が記載されている。
Accuracy gain % — Aligned pairs
WidthFixed-λTest
4x-width0.053​(±0.096)0.087​(±0.081)
8x-width0.118​(±0.111)0.164​(±0.117)
16x-width0.181​(±0.137)0.227​(±0.140)
Table 1. CIFAR‑10テストで、ResNet‑20(幅16×)におけるBUMP(重み混合)の精度向上率を示す。幅4×と8×では成長が低下または減少し、16×では0.181 %の精度向上が確認できる。Kiss, Melinda Flóra, Muntag, Márton, Csiszárik, Adrián, Varga, Dániel · arXiv:2611.08182v1 · Table 1: · CC BY 4.0

さらに、極端な 95 % 量子化を行った場合、幅4×では BUMP が 1.6 % まで精度向上し、密なモデルの 0.18 % を上回った。図1にこの増幅データが収録されている。

ノイズ方向への混合(ランダム方向)では、BUMP の効果はほぼゼロまたは負で、量子化などの実際的操作に比べて構造的重み関係が重要であることを示す。

最終的に、BUMP はほとんどの場合、より近い端点モデルのトップ‑1 ラベルを保持し、僅かなケースでラベルが第二選択に変わるだけである。図2はこの同一性を数値で示している。

表6は、BUMPがほぼ全ての予測を端点モデルと同じトップ‑1ラベルに保ち、少数の予測のみが2番目のクラスに変わったことを示す (1/2)表6は、BUMPがほぼ全ての予測を端点モデルと同じトップ‑1ラベルに保ち、少数の予測のみが2番目のクラスに変わったことを示す (2/2)
(a). 表6:BUMPが端点モデルのトップ‑1ラベルを保持する事例、たった数例がランク2に移動したことを示すKiss, Melinda Flóra, Muntag, Márton, Csiszárik, Adrián, Varga, Dániel · arXiv:2611.08182v1 · (a) · CC BY 4.0

また、重み混合に論理混合(logit mixing)を加えた Weight‑Prediction Mixed Ensembling(WPME)のロジットバリアントは、同じ条件で 0.226 % の精度を達成し、BUMP や従来の logit ensemble を上回っている。さらに、期待校正誤差は 0.010 に改善された。

以上の結果は、重み空間での短時間の線形混合が既に学習済みのモデルから追加の精度を得る方法として有望であることを示唆しているが、幅、整列、除去率などに依存する点に留意が必要である。

元論文

BUMP: Brief Unexpected Mid-Interpolation Peak

機械学習統計的機械学習
arXiv で見る
BUMP: 重み混合がモデル端点近くで一時的に精度を向上させる現象 | arXiv News