arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

多言語での情報探索における大規模言語モデルの限界が明らかに | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
自然言語処理日本語公開済み

多言語での情報探索における大規模言語モデルの限界が明らかに

2026年11月12日arXiv: 2611.12750v1

研究者は、多様な多言語情報探索に必要な6つの機能を定義した。最初の3つは「物語の包含」「除外」「未検出物語の識別」で、残りの3つは「多様な物語の提示」「確認クエリ時のカバレッジ維持」「言語間の情報パリティ維持」である。

「NarrativeBench」は、23言語で23の論争トピックにわたる1,333件のニュース記事と、Redditから派生した460件のクエリを24言語に拡張したベンチマークで構成される。記事の平均文字数は5,977字、範囲は610〜46,252字で、同一トピック内の同一物語グループの埋め込みベクトルは異なるグループよりも類似度が高いことが確認されている。

15のモデル構成を評価した結果、平均文字列包含F1は19.9 %(SE = 0.6 %)、除外F1は49.3 %(SE = 0.6 %)、未検出物語識別の再現率は56.8 %(SE = 0.6 %)であった。各構成で除外が包含よりも高得点で、最も優れたモデルはGemini 3.8 Flashで包含F1が52.5 %(SE = 1.3 %)と最大、未検出物語識別の再現率は82.8 %(SE = 0.7 %)であった。Gemini 2.5 Proは除外F1で最も優れた74.2 %(SE = 0.7 %)を示した。

これらの結果は、現在評価された大規模言語モデルが多様な物語を信頼できる形で探索できず、ユーザーがさまざまな視点を制御することが難しいこと、また多様性を要求しても競合する物語の露出に大きなギャップが残ることを示している。

元論文

The Narrative Gap: Can LLMs Help Us Navigate Diverse Narratives Across Languages?

自然言語処理人工知能ヒューマンコンピュータインタラクション情報検索
arXiv で見る