arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

DewHand:エゴ視点動画から手とカメラの位置を同時にメートル単位で復元する統一モデルを提案 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

DewHand:エゴ視点動画から手とカメラの位置を同時にメートル単位で復元する統一モデルを提案

2026年10月23日arXiv: 2610.29936v1

DewHandは、エゴセントリック動画から世界座標(ワールド空間)での手の動きとカメラ動作を直接かつ同時に復元する単一モデルです。

手法は単一段階のパイプラインで、手とカメラの動きを共通のワールド座標系で同時に予測します。これにより、手とカメラを別々に推定する多段階処理で生じる誤差の累積を避ける設計になっています。

単眼入力によるスケールの曖昧さを解くため、DewHandはシーンレベルの幾何特徴を表すVGGT-Ωとメートル空間での教師信号を組み合わせます。手固有の特徴は細かな関節表現を保持するよう扱われます。遮蔽や視野外の手に対しては、復元を条件付き運動生成として定式化し、フローマッチングを用いることで複数の妥当な軌跡に対応します。

同一アーキテクチャ内で、生成的定式化は直接回帰より精度と時間的平滑性の両面で優れており、サンプリングは2ステップで済むと報告されています。HOT3DとARCTICでの実験では、世界空間での精度と時間的一貫性が既存手法を上回りました。具体的には、StableHandと比べて剛体整合後の世界座標誤差はHOT3Dで32.9 mmから28.4 mmに、ARCTICで76.2 mmから36.2 mmにそれぞれ減少しました。さらに、HOT3Dのクリップの約3分の2でカメラのスケールを10%以内に復元できました。一方、SLAMでは同程度の復元が約4分の1のクリップにとどまりました。

ゼロショット評価でも検証され、HoloAssist、H2O、TACOといった異なる撮影デバイスのデータセット上で、DewHandは各データセットで最小の剛体整合後世界誤差(WA‑MPJPE)を達成したと報告されています。

これらの結果は、エゴ視点での手の動きをより精度よく計測することに資する可能性があり、人間の相互作用の理解や具現化エージェントへの動作転移を支援することが期待されます。ただし、課題は残ります。多段階処理による誤差伝播、単眼観測に伴う物理スケールの不確実性、遮蔽や視野外の手が許す複数の妥当解といった問題は依然重要な制約であり、すべての状況で解決されるとは限りません。

元論文

DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos

コンピュータビジョン
arXiv で見る