すべての人に一次情報を
DexSeedは、人間の手と物体の相互作用データを利用し、ロボットが実際に動かせるデモンストレーションを作る新しい枠組みです。従来の方法では、遠隔操作で作成したデータが必要でしたが、DexSeedなら既存の人間データを再利用できます。
人間の手と物体の局所的な空間関係を保持したまま、ロボット手に転送するためにInteractionMeshという表現を使います。これにより、人間のシーケンスをロボット手や異なる物体形状、選択と搬送の場所に合わせて調整し、もう一歩でも現実的な動きを実現します。専用の強化学習ポリシーで指先制御を行い、事前計算された腕の軌道に合わせてシミュレーション内で走行させます。
評価では、DexSeedが他の3つの代表的手法(Dex‑Retargeting、SPIDER、Wuji)より優れた性能を示しました。接触位置の誤差は3.326 mm、角度誤差は7.636°で、他手法に比べて低い数値です。物体への侵入深さ(penetration)は3.371 mmで、どの手法でもほぼ同じレベルです。
現在のDexSeedは8種類の代表的な把持モードとピック・アンド・プレースタスクに焦点を当てています。今後は、手の中での操作や両手を用いた作業、触覚情報を統合したデータ生成を拡張します。
これらの結果は、DexSeedが低コストで高品質で多様なロボットデモを作成できることを示し、視覚言語行動学習モデルの加速に寄与する可能性があることを示唆しています。