すべての人に一次情報を
AcrossDEX 1.0は、人間の動作事前学習、シミュレーションの専門家学習、ロボットの実演収集、視覚閉ループ実行を一つのパイプラインに統合した。 このシステムでは、HOT3D Ariaから5枚の画像と過去1秒の30個の手状態から1秒分の両手動作を予測する。 ロボット側では、視覚エンコーダ、時間トランスフォーマーのバックボーン、首置きパラメータを保ちつつ、Inspire(6チャンネル)とAllegro(16ジョイント)の両ハンド用に指フィールドと有効性マスクを追加。 ポリシーは、前方画像、コマンド履歴、タスク条件から60個の制御目標を出力し、Kステップのprefixを実行したあと再計画する。 直線回帰(BC)、拡散、流動マッチングの3つのジェネレーティブモデルは同一バックボーンと条件情報を共有している。 結果として、Inspire手での開錠タスクのBC成功率は40.6%、拡散は18.8%、流動は9.4%。 閉じた蓋の再定向作業では、BCが100%(Inspire)および93.3%(Allegro)、拡散が79.3%(Inspire)および90.0%(Allegro)、流動が70.0%(Inspire)および80.0%(Allegro)を記録。 再計画に時間連続性制約(RTC)を導入すると、開錠タスクで流動が0%から18.8%へ、拡散が3.1%から9.4%へと成功率が上昇。再定向では流動が51.7%から79.3%へ、拡散が41.4%から62.1%へと改善。 開錠タスクは約3.33秒、200ステップにわたり実行されるため、長期の時間軸と複雑な接触遷移が成功率を低下させる要因とされる。 RTCにより前の計画から継続的な動作を保持できるため、ジェネレーティブポリシーの性能が向上することが示された。 機材は固定カメラ視点で、魚眼画像をキャリブレートしピンホールビューに変換して入力として使用。再定向のデータセットは短い閉蓋セグメントに限定され、接触動態の多様性が制限されている。 評価はタスク完了率と方向誤差に焦点を当て、過熱や滑りといった他の失敗モードは報告されていない。