arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

YANAMI:対話型マルチモーダルデータセットで状態管理を実現 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
コンピュータビジョン日本語公開済み

YANAMI:対話型マルチモーダルデータセットで状態管理を実現

2026年11月5日arXiv: 2611.05280v1

第一段階の発見として、YANAMIは状態管理を重視した初の大規模マルチモーダル対話データセットである。

図 1 映像が示すのは、複数の画像とテキストを含む対話のフローで、対話状態が時間とともに更新される構造図。
Figure 1. YANAMIのマルチモーダル対話データセットの構造を示す。Wang, Shengyu, Nong, Tengyue, Liu, Junming, Peng, Haosong, Li, Siyu, Lei, Ruiqi et al. · arXiv:2611.05280v1 · Figure 1: · CC BY 4.0

データセットは、参照解決・文脈検索・一貫性保持・空間・物理一貫性・制約保持・訂正ベース状態更新の6つの能力を取り入れ、マルチ画像統合・画像編集・世界モデリング・視覚推論の4つのシナリオで構築されている。

フィンチューニングを行ったBAGELは、YANAMI‑400Kでマルチモーダル状態管理スコアを13.23 %向上させ、一般的な視覚理解能力は保持された。

評価では、統一マルチモーダルモデルと画像編集モデルの平均スコアが67.41と67.30で、閉鎖ソースモデルとの大きなギャップが確認された。

しかし、現在のモデルは対話状態の維持・更新・視覚化に依然として苦戦しており、状態理解と視覚実現の間に持続的な差が存在する。

(図 1 YANAMIのマルチモーダル対話構造を示す) (表 2 各シナリオでのモデルスコアと性能ギャップをまとめた結果)

元論文

YANAMI: A Large-Scale Multimodal Dataset and Benchmark for Multiturn Stateful Interaction

コンピュータビジョン
arXiv で見る