arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

AURA 2.0、動画ストリーミングでモデルが先導する会話とオブジェクト認識を実現 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

AURA 2.0、動画ストリーミングでモデルが先導する会話とオブジェクト認識を実現

2026年11月16日arXiv: 2611.17048v1

AURA 2.0 は、動画ストリーミングに対し「Model‑Initiated Conversation (MIC)」「Stream‑Aware Tool Calling (SATC)」「Interactive Visual Grounding (IVG)」の3つの新機能を追加し、ユーザーの問い合わせを待たずに会話を始めることができる。

まず、MIC では動画の進行中に話題になる領域を検知し、実証されたタイミングで質問やコメントを発話する。SATC により、現在の映像と会話状況を元に外部ツールを呼び出し、その結果を内部コンテキストに取り込む。IVG はユーザーがフレーム上で指定したオブジェクトに対し、バウンディングボックスを生成し回答と結びつける。

学習は3段階で行われる。第一段階で汎用的なリアルタイム QA とツール使用法を学習し、第二段階で MIC と IVG を追加。第三段階では全機能を混合したデータでファインチューニングし、応答制御トークンに焦点損失(focal‑loss)を用いた。

評価基準 IPIBench では、AURA 2.0 が「Proactive Monitoring」の検出率を 49.30 % とすべてのオープンソースストリーミングモデルを上回り、さらに「Proactive Task Management」の平均値を 24.10 % としてトップの性能を示した。

ただし、SATC でツールを呼び出した際には結果がコンテキストに組み込まれるものの、音声出力では音声化されず、ユーザーは画面上でテキストを読む必要がある点は注意が必要である。

この成果は、大規模言語モデルが質問応答だけでなく、動画の進行に応じて積極的に対話をリードし、関連するオブジェクトを指摘できることを示している。

元論文

AURA 2.0: From User-Driven Responses to Model-Initiated Conversations in Streaming Video

コンピュータビジョン人工知能
arXiv で見る