すべての人に一次情報を
OaP(Objectives as Policies)とは、事前学習済みの Vision‑Language Model(VLM)と共通のサンプリングベースの Model‑Predictive Controller(MPC)をつなぐフレームワークで、VLMが自然言語命令とカメラ画像から模擬環境を作り、マルチステージの目標プログラムを生成します。これは、VLMの高度な意味理解と物理ベースの計画を組み合わせる新しい設計パラダイムであると報告されています(f1)。
実際の手順は次のとおりです。まず、タスク説明とシーン観測を入力として受け取り、リアルをシミュレーションへ変換(real‑to‑sim)してデジタルツインを構築します。次に、VLMがこのデジタルツインを用いて目標プログラムを作成し、MPCでシミュレーション上で実行します。MPCのロールアウト結果をVLMが自己レビューし、実行結果に問題が検出された場合に多段階の目標プログラムを修正・改善し、最終的に実機で実行します(f2)。
テストでは、ピック&プレイス、カップ再向き、直感的プッシュ、ツール付きプッシュの4つのテーブルトップタスクで評価しました。シミュレーションでは最大2回までプログラムを改良し、累積成功率が90 %に到達しました(f3)。同じタスクで、CoRALやOpenVLA‑OFTなどのベースラインを上回る結果となりました。
実機では、シミュレーションで成功したプログラムを小さなゆらぎ、そして大きなゆらぎの2種類の環境で一度ずつ実行し、全体で80 %(32/40)の成功率を達成しました(f4)。特にピック&プレイスは10回中8回が成功し、安定性の高さが示されました。
ただし、OaPの性能はデジタルツインの精度と接触ダイナミクスの再現性に大きく依存します。物体が隠れたり、掴みが滑る、変形が起きたりすると、MPCはその段階での失敗に対して回復策を自動で実装できません(f5)。したがって、現実世界とシミュレーションのギャップが小さい環境で最も効果的に機能します。