主な発見：METTAは高速適応を二つの時間スケールに分解します。因果的なニューラルメモリが同一エピソード内で細かい適応を行い、エピソードレベルのコンパクトな要約が複数エピソードにまたがる推論を支えます（過去の全履歴に対する全方位的注意を必要としません）。[f1]

方法と仕組み：エピソード内のニューラルメモリにはTTT層（Test‑Time Training）を用います。TTTは各エピソード開始時に「高速重み」を初期化し、その重みを自己教師あり損失に基づく勾配ステップでオンライン更新します。これにより、トークンを処理しながらモデル自身のパラメータが逐次適応します。[f2]

エピソード間の情報は、（1）過去エピソード要約の指数移動平均（EMA）と、（2）保存した要約群に対する学習可能な注意機構、の二つの手段で集約されます。注意で取得した表現は現在のエピソード内表現と融合（LayerNormで和を正規化）してポリシーに渡されます。エピソード終端では、最終の適応済み表現 ¯h_e を要約として保存し、以後のエピソードで因果的に利用します。[f3][f12]

学習と効率化：全モジュール（エピソード内メモリ、エピソード間集約、アクター、クリティック）はPPOで終端から終端まで学習します。計算効率向上のため、各試行は時系列に沿ったセグメント（実験では各エピソードが一セグメント）に分け、PPO損失を当該セグメントだけに適用します。これにより重複する接頭辞の再構築を避け、更新時間を概ね半分にしています。[f9]

計算複雑度：TTTは各ステップで一定の内部更新コストしか要さないため、エピソード長履歴に対して線形の系列計算量を保ちます。完全な試行では、注意型のエピソード集約で O(E^2 T)、EMAで O(E T) の計算量です。対照的に、トランスフォーマ系の手法では TrMRL が O(E^2 T^2)、ECET が O(E T^3 + E^3 T) と高い計算量になります。[f10]

具体的な結果：未観測のMeta‑World ML10/ML45のテスト環境で、METTAは成功率が50%を超えました。トレーニング予算は低く、実行時間（wall‑clock time）も短いままです。[f6]

長文脈かつスパース報酬のPointMazeでは、1.5Mステップ時点で以下を示しました（平均 ± 標準誤差）：METTAは走査カバレッジ 0.447 ± 0.036、エピソード間ジャッカード係数 0.792 ± 0.022、成功までのステップ数 194.8 ± 30.1。比較対象のECETはカバレッジ 0.250 ± 0.087、ジャッカード 0.935 ± 0.028、ステップ 427.3 ± 44.5、TrMRLはカバレッジ 0.330 ± 0.031、ジャッカード 1.000 ± 0.000、ステップ 373.4 ± 16.1でした。METTAはより広い探索、低いエピソード重複、少ない到達ステップを達成しました。[f7]

幅広いベンチマーク上の傾向：歩行（locomotion）、操作（manipulation）、ナビゲーションの各評価で、METTAは標準的および長文脈のmeta‑RL設定で高速適応を改善しました。特に、メタ学習時に見ていなかったMeta‑Worldのタスクファミリに対する一般化（タスクファミリレベルのOOD）で相対的な利得が顕著でした。[f8]

内部表現と役割の検証：ML10上の最終エピソード表現についてのt‑SNE可視化とコサイン類似度行列は、学習された文脈表現 z がタスクファミリごとに整理され、テストタスクが関連する訓練タスクと整列することを示しました。これは単なる記憶以上の一般化を示唆します。[f14]