arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

EgoActionBenchが提供する細粒度の第一人称行動認識ベンチマークが発表 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

EgoActionBenchが提供する細粒度の第一人称行動認識ベンチマークが発表

2026年11月4日arXiv: 2611.03646v1

EgoActionBenchは、1,407本の第一人称映像と41,132の人手で精査された原子行動ラベルを収録し、左手・右手・両手のいずれが行動に関与しているかを示す仕様になっています。これにより、従来のベンチマークが欠けていた行動の微細化、時間的正確性、手動作連携が実現されました(f1)。

評価手法としては、時間的重複を持つ予測を収集します。次に、語意の一致度に基づいて1つの予測を選択します。最後に、語義の忠実度、時間的重複度、手割り当てを個別にスコアリングします。語義の忠実度、時間的重複度、手割り当てを個別にスコアリングし、分割エラーと語義エラーを明確に区別します(f2)。このプロトコルにより、モデルの時間位置推定と手操作の精度を独立して評価できます。

Qwen3‑VL‑4BとLLaVA‑OneVision‑2‑8Bをそれぞれ教師付き微調整と強化学習で最適化した結果、EgoActionScoreが15.9点と23.2点上昇し、テストした全オープンソースベースラインを上回りました。上昇は時間的位置決定・手割り当て・語義の全領域にわたり、大きくは時間成分で顕著でした(f3)。

しかし、現在のVLMは0.5秒未満の短時間行動の時間的重複率(temporal‑IoU)が極めて低く、リフトやローテーションといった動作種別の正確な記述に苦戦しています。ベンチマーク表では、オープンソースモデルでも人間アノテータと比べ手操作・動作・総合精度で遜色が見られます(f4)。

EgoActionBenchは、第一人称視点における細粒度行動理解の新たな標準を示し、今後の研究が解決すべき課題を明確にしています。

元論文

EgoActionBench: Benchmarking Dense Action Captioning for Egocentric Human Videos

コンピュータビジョン
arXiv で見る