arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

複数カメラで統一的な動画説明を行う新タスクの提案 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

複数カメラで統一的な動画説明を行う新タスクの提案

2026年11月10日arXiv: 2611.09617v1

新しいCross‑View Dense Video Object Captioning(CVDVOC)タスクでは、同期された複数カメラの観測を1つのグローバルトラジェクトリに統合し、そのトラジェクトリごとに単一の説明文を生成する。

複数カメラの映像が同期され、各オブジェクトのトラジェクトリがグローバルIDとして統合され、統一された説明が生成される様子
Figure 1. 複数カメラの同期した映像を一つのグローバルトラジェクトリへ統合し、各トラジェクトリに対して単一の統一説明文を生成するCross‑View Dense Video Object Captioning(CVDVOC)のタスク概念を示す。Zhang, Xiangqun, Wang, Likai, Qian, Zekun, Zhou, Rui, Han, Ruize, Feng, Wei · arXiv:2611.09617v1 · Figure 1: · CC BY 4.0

CVDVOCを検証するためにCRTrack‑Capというデータセットが作成された。ここには13シーンにわたる425個のグローバルトラジェクトリと838個のカメラローカルトラッテルトラックが含まれ、335人の身元に対して参照説明が与えられている。

提案された参考フレームワークは、View‑Exclusive Cross‑Camera Association(VECA)とConflict‑Evidence Gating(CEG)を組み合わせ、CaptionFormerベースのデコーダで統一説明を生成する。VECAは各カメラから最大1つのローカルトラッテルトラックだけを含むグローバルIDグループを作り、CEGは各外観属性に対して信頼できる視点を選択し、字幕生成に与える影響を制御する。

VECAとCEGが連携し、CaptionFormerを通じてグローバルIDごとに統一された説明を生成するプロセス
Figure 2. CVDVOCタスクの参考フレームワーク。VECAが各カメラからローカルトラッテルトラックを抽出しグローバルIDグループを形成、CEGが視点情報を重み付けしCaptionFormerベースのデコーダで統一説明を生成する流れを示す。Zhang, Xiangqun, Wang, Likai, Qian, Zekun, Zhou, Rui, Han, Ruize, Feng, Wei · arXiv:2611.09617v1 · Figure 2: · CC BY 4.0

CRTrack‑Capのインドメインテストで、提案フレームワークはCV‑CHOTA 83.43、Global‑CapA 88.19、CIDEr 157.04という最高成績を示し、DenseVOC、SMOTer、CaptionFormerを上回った。一方、クロスドメインテストではCV‑CHOTA 33.48、Global‑CapA 68.34、CIDEr 112.62と得点が低下し、学習分布外での性能低下を示した。

CVDVOCとCRTrack‑Capは、多視点映像のトラッキングと説明生成を統合するベンチマークとして機能し、交差視点の関連付けと証拠統合がトラッキングと説明品質を向上させることを示したが、ドメイン外一般化にはまだ課題が残る。

元論文

CRTrack-Cap: A New Benchmark for Cross-View Dense Video Object Captioning

コンピュータビジョン
arXiv で見る