すべての人に一次情報を
① HITCHは、視覚言語モデル(VLM)がカメラ画像から3次元点を測定し、ヒューマノイドの体位を指示するインタフェースを提供する。これにより、VLMは言語指示を直接機械制御に変換できる。 ② HITCHは2つのインタフェースを備えている。感知インタフェースでは、VLMが画像上で点を選択すると、その点の3D座標が返される。実行インタフェースでは、骨盤高さ、胴体のピッチとヨー、手のワークポイント、足の踏み出し位置、視線など、各関節のコマンドが設定できる。これらはプランナーで全身参照軌道に変換され、HEFTと呼ばれるトラッカーがUnitree G1ロボット上で実行する。 ③ タスク実験において、感知インタフェースを削除するとSIMPLEベンチマークの成功率が51.1 %から2.8 %に低下し、HumanoidArenaは42.5 %から27.5 %に低下した。逆に、ベースタスクのみで微調整したVLMはSIMPLEで51 %の成功率、HumanoidArenaで42 %を達成した。5本のSIMPLEタスク用トラッキングデータを追加すると、SIMPLEは95 %に上昇したが、HumanoidArenaは28.8 %へと下がった。 ④ HEFTトラッカーは、ハーネスデータで訓練された際、SIMPLEで手誤差を0.6 cm、歩行誤差を5 %に低減し、教師ポリシーの成功率を94.2 %から97.9 %に向上させた。SONICとAMOはそれぞれ27.9 %と12.9 %しか達成できない。 ⑤ 実機テストでは、ロバストな手(レザー製)で、箱を運ぶタスクで20回中13回、障害物迂回で10回中6回成功した。手は指制御ができないため、実用範囲は限られている。 ⑥ 限界として、プランナーは座る動作や障害物越えを生成できない。加えて、SIMPLEタスクのデータを増やすとHumanoidArenaでの汎用性が低下する。