STEP（Spatiotemporal Training with Explicit Prediction）は、深度センサーと関節自律装置を同時に読み取り、複数の学習済みクエリで深度と自己感覚情報を 64 次元の制御状態に統合する、単一ステージの学習システムです。

本システムは、Proximal Policy Optimization（PPO）で共有エンコーダを訓練しつつ、双方向マスク予測で欠損モダリティの潜在表現を推定し、動作条件付き次状態予測器で行動が状態に与える影響を学習させます。

シミュレーションでは、14 種類の地形で平均成功率 95.17 % を達成し、予測を行わないバリアブル（91.02 %）や多クエリ集約を行わないバリアブル（69.98 %）を上回りました。

実際の 23 軸degrees of freedom（DoF）の Noetix E1 ロボットでテストした結果、階段 98 / 100 回、平台 20 / 20 回、70 cm 幅の隙間 18 / 20 回、踏み石 20 / 20 回、後退 15 cm 階段で 100 % の成功を報告しました。

ただし、深度センサーの継続的なドロップアウトまたは 20 ms の遅延が発生すると、階段や高所でも成功率が低下し、隙間や踏み石では成功率が 0 % になるという限界があります。これは、視覚入力の欠損や遅延に対する現在のモデルの耐性が不十分であることを示します。

将来的な改良では、時系列予測の強化と欠落深度フレームへの対応を通じて、視覚劣化に対するロバスト性を高める方向が検討されています。