arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
機械学習日本語公開済み

訓練データ量が増えると、Transformer の注意ヘッドが構文に特化する――その変化はサンプル複雑度に応じて二次相転移とみえる

2026年11月22日arXiv: 2611.26228v1

Transformer の注意ヘッドは、学習を進めるにつれて異なる機能へと特化すると知られる。しかし、その特化が何をきっかけで起きるかは分かっていなかった。最近の研究では、

BERT‑Small のマスク付き言語モデルを BookCorpus と英語 Wikipedia で訓練した実験結果から、訓練データ量が増加すると構文関係に特化したヘッドの割合が急激に上昇し、そのタイミングで学習曲線とテスト誤差にも急激な変化が現れることが確認された。データサイズが小さい段階ではヘッドは多様な注意パターンを共有し、構文に対する偏りはほぼゼロだった。

この実験を解明するため、研究者たちは高次元で解析可能な「フリッピングスパイク」モデルを構築した。このモデルは注意重みを正則化された経験的リスク最小化(ERM)で学習し、レプリカ法により解が導出される。レプリカ対称(RS)アンサートでは、サンプル複雑度 α = N/D を増やすと、ヘッドと特徴の重なり行列が分岐し、テスト誤差が非解析的に変化する二次相転移が起きることが理論に示された。

さらに、低正則化の領域では「置換対称性破れ(PSB)」という中間相が現れ、ヘッド特化が遅延し、サンプル複雑度平面で再入り型の境界線を形成する。図3(左)はこの PSB 相と SPEC(特化)相の境界を示し、上記の理論と数値シミュレーションが一致することを示した。

図3(左)の平面図は、正則化λとサンプル複雑度αの2つの軸でPSB相とSPEC相の境界線を示し、第二次相転移点が明示されている。
Figure 3. 図3(左)に示されたサンプル複雑度 α と正則化 λ の平面上で、置換対称性破れ(PSB)相と専門化(SPEC)相の境界が可視化されている。この図は、レプリカ対称(RS)解析による第二次相転移予測とそれに対応する数値シミュレーションの一致を示している。Catteau, Léo, Duranthon, O., Zdeborová, Lenka · arXiv:2611.26228v1 · Figure 3: · CC BY 4.0

非等方的ガウスデータモデルでは、複数の潜在特徴がそれぞれ異なる分散を持つ構造をとる。ここでは、サンプル複雑度が足りなくても 1 つ目の強い特徴が回復され、さらに複雑度が増すごとに弱い特徴が順次回復される「カスケード」相転移が観測された。図4(左)は、各相転移の臨界サンプル複雑度 α_c^{(r)} をアニソトロピー δ とともに示し、理論と実験が一致していることを示した。

図4(左)のダイアグラムは、δとαの2次元平面上で各階層的相転移(α_c^{(1)},α_c^{(2)},…)が連続して描かれており、特徴回復のカスケード構造を示している。
Figure 4. 図4(左)に示される非等方的ガウスモデルの相転移ダイアグラムは、アニソトロピーδとサンプル複雑度αの関係で、各特徴の臨界サンプル複雑度α_c^{(r)}を示し、強い特徴から弱い特徴への段階的回復を表している。Catteau, Léo, Duranthon, O., Zdeborová, Lenka · arXiv:2611.26228v1 · Figure 4: · CC BY 4.0

ただし、このレプリカ対称解析は非凸 ERM 問題に対しては推測的であり、低正則化領域や他のモデルでは妥当性が崩れる恐れがある。さらに、実際の BERT とシミュレーションは有限サイズであり、真の非解析性を観測できないため、急激な変化は相転移の兆候である可能性が高いと結論付けられる。

以上の結果は、注意ヘッドの特化が単なる学習時間の関数ではなく、所与のデータ量と正則化の設定によって決定される統計的相転移現象であることを示唆している。

元論文

Attention Head Specialization: Phase Transitions in Sample Complexity

機械学習cond-mat.dis-nn統計的機械学習
arXiv で見る
訓練データ量が増えると、Transformer の注意ヘッドが構文に特化する――その変化はサンプル複雑度に応じて二次相転移とみえる | arXiv News