すべての人に一次情報を
研究者は、多様な多言語情報探索に必要な6つの機能を定義した。最初の3つは「物語の包含」「除外」「未検出物語の識別」で、残りの3つは「多様な物語の提示」「確認クエリ時のカバレッジ維持」「言語間の情報パリティ維持」である。
「NarrativeBench」は、23言語で23の論争トピックにわたる1,333件のニュース記事と、Redditから派生した460件のクエリを24言語に拡張したベンチマークで構成される。記事の平均文字数は5,977字、範囲は610〜46,252字で、同一トピック内の同一物語グループの埋め込みベクトルは異なるグループよりも類似度が高いことが確認されている。
15のモデル構成を評価した結果、平均文字列包含F1は19.9 %(SE = 0.6 %)、除外F1は49.3 %(SE = 0.6 %)、未検出物語識別の再現率は56.8 %(SE = 0.6 %)であった。各構成で除外が包含よりも高得点で、最も優れたモデルはGemini 3.8 Flashで包含F1が52.5 %(SE = 1.3 %)と最大、未検出物語識別の再現率は82.8 %(SE = 0.7 %)であった。Gemini 2.5 Proは除外F1で最も優れた74.2 %(SE = 0.7 %)を示した。
これらの結果は、現在評価された大規模言語モデルが多様な物語を信頼できる形で探索できず、ユーザーがさまざまな視点を制御することが難しいこと、また多様性を要求しても競合する物語の露出に大きなギャップが残ることを示している。