arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

ディープ・マンバモデルで最初のトークンが他を集める新発見 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
人工知能日本語公開済み

ディープ・マンバモデルで最初のトークンが他を集める新発見

2026年11月7日arXiv: 2611.08303v1

ディープ・マンバモデルでは、最初に入力されるトークンが特別な動きを示し、以降のトークンを同じ方向へ引き寄せることが判明しました。この現象はトークンの集団化と注意の“シンク”として知られています。

研究者は高次元不変ボックスと鋭い出口時間の議論からなる新しい解析枠組みを構築しました。この枠組みはシンプレックスの符号確定性を再構築し、トークン軌道の指数的収束速度を明示的に算出します。

シミュレーションでは、最初のトークンが座標単位ベクトル(±e_d)に収束し、その位置に後続トークンが引き寄せられる様子が観察されました。また、単純化したMamba‑2ブロックで多数実験すると、90%以上のケースで最初のトークンが単一非ゼロ要素を持つ状態に収束し、同様に注目先が定まりました。

シミュレーションで、最初のトークンが±e_dという座標軸方向に収束し、その位置に他のトークンが集まる様子を表示する図。 (1/3)シミュレーションで、最初のトークンが±e_dという座標軸方向に収束し、その位置に他のトークンが集まる様子を表示する図。 (2/3)シミュレーションで、最初のトークンが±e_dという座標軸方向に収束し、その位置に他のトークンが集まる様子を表示する図。 (3/3)
(a). 図1:シミュレーションにより、最初のトークンが座標単位ベクトル(±e_d)に収束し、後続のトークンが同じ吸着点に集まる様子を示す。
Nguyen, Trinh T., Nguyen-Nhat, Minh-Khoi, Pham, Duy-Tung, Do, Hoang-Son, Nguyen, Tan Minh, Vo, Thieu N. · arXiv:2611.08303v1 · (a) · CC BY 4.0
Mamba-2ブロックの実験結果で、最初のトークンが1つの非ゼロ要素に収束する頻度を示す棒グラフ。
Figure 2. 単純化したMamba-2ブロックで90%以上のケースで最初のトークンが1つの非ゼロ要素のみを持つ状態に収束する割合を示す。Nguyen, Trinh T., Nguyen-Nhat, Minh-Khoi, Pham, Duy-Tung, Do, Hoang-Son, Nguyen, Tan Minh, Vo, Thieu N. · arXiv:2611.08303v1 · Figure 2: · CC BY 4.0

解析は連続時間極限と漸近挙動に限定され、実際の離散化された大規模マンサ実装への適用には追加研究が必要です。

元論文

First-Token Attraction in Mamba Dynamics

人工知能
arXiv で見る