すべての人に一次情報を
AURA 2.0 は、動画ストリーミングに対し「Model‑Initiated Conversation (MIC)」「Stream‑Aware Tool Calling (SATC)」「Interactive Visual Grounding (IVG)」の3つの新機能を追加し、ユーザーの問い合わせを待たずに会話を始めることができる。
まず、MIC では動画の進行中に話題になる領域を検知し、実証されたタイミングで質問やコメントを発話する。SATC により、現在の映像と会話状況を元に外部ツールを呼び出し、その結果を内部コンテキストに取り込む。IVG はユーザーがフレーム上で指定したオブジェクトに対し、バウンディングボックスを生成し回答と結びつける。
学習は3段階で行われる。第一段階で汎用的なリアルタイム QA とツール使用法を学習し、第二段階で MIC と IVG を追加。第三段階では全機能を混合したデータでファインチューニングし、応答制御トークンに焦点損失(focal‑loss)を用いた。
評価基準 IPIBench では、AURA 2.0 が「Proactive Monitoring」の検出率を 49.30 % とすべてのオープンソースストリーミングモデルを上回り、さらに「Proactive Task Management」の平均値を 24.10 % としてトップの性能を示した。
ただし、SATC でツールを呼び出した際には結果がコンテキストに組み込まれるものの、音声出力では音声化されず、ユーザーは画面上でテキストを読む必要がある点は注意が必要である。
この成果は、大規模言語モデルが質問応答だけでなく、動画の進行に応じて積極的に対話をリードし、関連するオブジェクトを指摘できることを示している。