すべての人に一次情報を
EgoActionBenchは、1,407本の第一人称映像と41,132の人手で精査された原子行動ラベルを収録し、左手・右手・両手のいずれが行動に関与しているかを示す仕様になっています。これにより、従来のベンチマークが欠けていた行動の微細化、時間的正確性、手動作連携が実現されました(f1)。
評価手法としては、時間的重複を持つ予測を収集します。次に、語意の一致度に基づいて1つの予測を選択します。最後に、語義の忠実度、時間的重複度、手割り当てを個別にスコアリングします。語義の忠実度、時間的重複度、手割り当てを個別にスコアリングし、分割エラーと語義エラーを明確に区別します(f2)。このプロトコルにより、モデルの時間位置推定と手操作の精度を独立して評価できます。
Qwen3‑VL‑4BとLLaVA‑OneVision‑2‑8Bをそれぞれ教師付き微調整と強化学習で最適化した結果、EgoActionScoreが15.9点と23.2点上昇し、テストした全オープンソースベースラインを上回りました。上昇は時間的位置決定・手割り当て・語義の全領域にわたり、大きくは時間成分で顕著でした(f3)。
しかし、現在のVLMは0.5秒未満の短時間行動の時間的重複率(temporal‑IoU)が極めて低く、リフトやローテーションといった動作種別の正確な記述に苦戦しています。ベンチマーク表では、オープンソースモデルでも人間アノテータと比べ手操作・動作・総合精度で遜色が見られます(f4)。
EgoActionBenchは、第一人称視点における細粒度行動理解の新たな標準を示し、今後の研究が解決すべき課題を明確にしています。