研究概要

新しい論文「Dream to Remember（D2R）」は、既存の汎用ロボット方策（generalist policy）を凍結したまま、新しい課題を追加学習しつつも過去に獲得した技能を失わない方法を示しています。一般に模倣学習で得られた方策は、示範の質と幅に依存します。強化学習で改善することは可能ですが、方策の重みを微調整すると「破滅的忘却（catastrophic forgetting）」が生じ、過去の課題性能が低下します。本研究は、凍結した生成方策に小さな「操舵（steering）」モジュールを学習して入力ノイズを制御する手法を採りますが、そのままでは操舵モジュール自体が忘却を起こす点に着目しています。

手法の要点

D2Rの核は二つです。ひとつは「凍結した汎用方策（π0）」を保持し続けること。もうひとつは、事前学習された世界モデル（world model）を利用して“想像上のリハーサル”を行い、操舵モジュールが新しい課題を学ぶ一方で以前の挙動にアンカリング（固定）させることです。具体的には、操舵モジュールが新課題に適合していく過程で、世界モデルを用いて過去の課題のロールアウト（軌道）を想起させ、それらを使って操舵モジュールの出力が以前の技能を維持するように訓練します。これにより、外部のリプレイバッファや追加の実データを用いずに「記憶の維持」を図ります。

重要な特徴として、世界モデルの忠実度に応じて学習モードが変化します。世界モデルが十分に現実に忠実であれば、新規課題の学習をほぼ完全に“想像”の中だけで行うことが可能です。モデルが不十分な場合は、現実環境で新課題を学習しつつ、世界モデルは過去課題のリハーサルに限定して用いる、というハイブリッドな運用になります。

主な実験結果

論文では複数の環境でD2Rを検証しています。代表的な結果は以下の通りです。

- CALVINデータセット上の実験では、ある順序で8つの課題を連続して学習させたところ、D2Rは想像内のみで全8課題を改善でき、平均成功率を63.7%から74.8%へ上げました。一方、同じ順序で低ランク適応（LoRA）による微調整を行うと平均成功率は11.7%に落ち込み、従来の微調整が忘却に弱いことを示しています。

- 事前学習済みの汎用方策π0と外部の世界モデルA2Worldを固定したまま、D2Rは未見のLIBERO-90課題を環境中で学習しながら、π0が以前に微調整されていたLIBEROのスイートに対する性能を保持しました。ここでは世界モデルが方策最適化に十分な精度を持たないため、新規課題は実環境で学習されましたが、世界モデルは過去技能のリハーサルに有用だったと報告されています。

- 実ロボット（Frankaアーム）でも検証が行われ、D2Rは3つの課題を連続的に改善でき、その過程は全て想像上で完結し、かつ以前の改善を保持しました。

意義と解釈

D2Rは「想像（dream）」を利用してロボットの記憶を守るという直感的で興味深いアプローチを示しています。主な利点は、（1）凍結した大規模な方策を保持することで既存の能力を壊しにくいこと、（2）世界モデルを用いたリハーサルにより外部データやリプレイを必要とせずに忘却を抑えられる可能性があることです。実験ではシミュレーションから実機まで幅広く効果が確認され、特に世界モデルが高品質な場合には現実で試行するコストを大幅に下げられる点が示唆されています。