機械学習モデルが時間的に積み重なる「状態」を追跡する問題は、単に予測精度を見るだけでは内部で何を学習しているか判別しにくいことがあります。新たな研究（arXiv:2609.29951v1）は、群（group）という代数的構造を用いた合成問題を人工的に与え、トランスフォーマーや再帰型ネットワークがどのような「部分的解」を学びやすいかを系統的に調べています。結果は、解釈と慎重な一般化の両面で興味深い示唆を与えますが、同時に現実世界タスクへの直接的な適用には注意が必要です。以下、分かりやすく要点をまとめます。

問題設定の概観 研究者たちは単純化したベンチマークを用いました。入力は群の元（数学的には回転や置換のような「操作」）の列で、モデルは列を前から順に合成していく（running product）最終結果を予測します。群の構造を使うことで、モデルが「完全に追跡する（exact tracking）」のか、それとも「部分的にしか分からない（partial accuracy）」のかを明確に区別できます。

「商（quotient）解」と「コセット（coset）」という考え方 研究で注目されたのは、モデルが入力群の元そのものを正確に出力する代わりに、元が属する「クラス（商類・コセット）」だけを識別するような解を学ぶことがある点です。直感的には、ある箱（クラス）に入っていることは分かるが、箱の中のどの個体かは区別できない、という状態です。こうした「商（quotient）解」は、完全な追跡ができないときにモデルが取る妥当な近似戦略になり得ます。

部分的精度を予測する単純な指標 面白いことに、あるクラスの大きさ（箱の中に何個の元があるか）の逆数が、モデルの部分的な正答率を説明する単純な予測子になりました。すなわち、クラスサイズが大きいほど、ランダムに当たる確率が下がるため、部分精度は1/|class|に近づく、というわけです。これは従来の「パリティ（偶奇）に基づく」説明を、より一般的な非パリティ系の商へ拡張する洞察です。

トランスフォーマーと「順序に鈍感」な振る舞い 実験では、ベースラインのトランスフォーマーは接頭部（prefix）の並べ替えに対して予測がほとんど変化しない領域を示しました。理想的な「順序を区別する」追跡を超えると、モデルは入力順序に鈍感になり、商類ベースの近似（順序を無視してクラスだけを識別）に落ち着きやすいことが観察されました。

理論的結果：アベラ化（abelianization）との関係 有限群かつ入力が一様な独立同分布（i.i.d.）の場合、研究者は数学的な議論を用いて、順序無視（order-blind）で到達可能な最適な正確率が「アベラ化のクラスサイズの逆数」に収束することを示しました。アベラ化とは、元同士の順序（交換性）を無視した群の簡約で、実験で見られた「アベラ化プレートー（平坦化）」と一致する現象を説明します。

順序を使うモデルが許すもの：任意の右コセット分割 一方で逐次的な（sequential）状態更新を許すモデルはもっと柔軟です。論文は、群の任意の部分集合による右コセット（右側からの割り当て）による分割が逐次更新を通じて保持されうることを示しました。つまり、理論上は正規部分群（normal subgroup）でなくても、右コセットに基づく情報が逐次モデルには残り得る、ということです。

観察された違い：トランスフォーマー vs 再帰型ネットワーク 実験的な「コサンプル（census）」では、標準的なトランスフォーマーが学習して内部で再現するコセット分割は常に正規部分群に由来するものでした。対照的に、同じパラメータ規模に合わせた再帰型（リカレント）ネットワークは訓練中に正規・非正規の右コセットの両方の段階を通過しました。特に、A5（奇置換の群）という具体例では、再帰型の内部状態に非正規コセットを符号化する低次元部分空間が見つかり、その平均ベクトルがほぼ十二面体（dodecahedron）をなすような幾何学的構造が現れました。さらに、そうした部分空間の成分を入れ替える操作によって、入力の共通接尾辞（suffix）を保ったままコセット情報を別の状態に移すことができることも確認されました。