すべての人に一次情報を
Transformer の注意ヘッドは、学習を進めるにつれて異なる機能へと特化すると知られる。しかし、その特化が何をきっかけで起きるかは分かっていなかった。最近の研究では、
BERT‑Small のマスク付き言語モデルを BookCorpus と英語 Wikipedia で訓練した実験結果から、訓練データ量が増加すると構文関係に特化したヘッドの割合が急激に上昇し、そのタイミングで学習曲線とテスト誤差にも急激な変化が現れることが確認された。データサイズが小さい段階ではヘッドは多様な注意パターンを共有し、構文に対する偏りはほぼゼロだった。
この実験を解明するため、研究者たちは高次元で解析可能な「フリッピングスパイク」モデルを構築した。このモデルは注意重みを正則化された経験的リスク最小化(ERM)で学習し、レプリカ法により解が導出される。レプリカ対称(RS)アンサートでは、サンプル複雑度 α = N/D を増やすと、ヘッドと特徴の重なり行列が分岐し、テスト誤差が非解析的に変化する二次相転移が起きることが理論に示された。
さらに、低正則化の領域では「置換対称性破れ(PSB)」という中間相が現れ、ヘッド特化が遅延し、サンプル複雑度平面で再入り型の境界線を形成する。図3(左)はこの PSB 相と SPEC(特化)相の境界を示し、上記の理論と数値シミュレーションが一致することを示した。

非等方的ガウスデータモデルでは、複数の潜在特徴がそれぞれ異なる分散を持つ構造をとる。ここでは、サンプル複雑度が足りなくても 1 つ目の強い特徴が回復され、さらに複雑度が増すごとに弱い特徴が順次回復される「カスケード」相転移が観測された。図4(左)は、各相転移の臨界サンプル複雑度 α_c^{(r)} をアニソトロピー δ とともに示し、理論と実験が一致していることを示した。

ただし、このレプリカ対称解析は非凸 ERM 問題に対しては推測的であり、低正則化領域や他のモデルでは妥当性が崩れる恐れがある。さらに、実際の BERT とシミュレーションは有限サイズであり、真の非解析性を観測できないため、急激な変化は相転移の兆候である可能性が高いと結論付けられる。
以上の結果は、注意ヘッドの特化が単なる学習時間の関数ではなく、所与のデータ量と正則化の設定によって決定される統計的相転移現象であることを示唆している。