すべての人に一次情報を
新しい検索パイプラインは、質問をサブクエリに分解し、ドキュメントとサブクエリのカバレッジ行列を予測し、グリーディ最大マージナルカバレッジ選択でドキュメントを選択する。この手法は、従来の関連性のみを重視する1段階モデルよりも、TREC RAG 2024でα‑nDCG@10を0.625から0.702に改善した。リコール指標は0.770、P@10は0.775、nDCG@10は0.800といった高得点を示し、関連性を犠牲にすることなく証拠の幅を広げたことを示す。
表1では、カバレッジトレーニングを追加するとα‑nDCG@10が0.656に、さらなるカバレッジ推定とグリーディ選択で0.702に上昇したことが示されている。これは、検索者を固定した状態でセットレベルのカバレッジ最適化が有効であることを裏付ける。
| Method | α-nDCG@10 | StRecall@10 | P@10 | nDCG@10 |
|---|---|---|---|---|
| Relevance-trained bi-encoder | 0.625 | 0.744 | 0.754 | 0.784 |
| + coverage training | 0.656 | 0.762 | 0.773 |
| 0.798 |
| + coverage estimator and greedy selection | 0.702 | 0.770 | 0.775 | 0.800 |
| Gold nuggets (decomposition upper bound) | 0.718 | 0.781 | 0.771 | 0.802 |
| Oracle greedy (selection upper bound) | 0.887 | 0.858 | 0.800 | 0.857 |
さらに、表3で示されるように、関連性のみに基づくベースラインと比べて、トランスファー率が0.050、センテンス精度が0.070高い結果が得られたが、Holm–Bonferroni補正後は統計的有意性が確認されない。このことは、変動が大きく、結果の解釈に慎重さが必要であることを示す。
| A | B | O | |||
|---|---|---|---|---|---|
| Metric | n | bi-encoder | ours | oracle | Δ(B−O) |
| StRecall@10 (retrieval) | 54 | 0.791 | 0.799 | 0.888 | −0.089‡ |
| Transfer rate | 54 | 0.294 | 0.326 | 0.275 | +0.050† |
| Answer StRecall | 54 | 0.239 | 0.266 | 0.247 | +0.020 |
| Vstrict | 51 | 0.350 | 0.351 | 0.322 | +0.029 |
| Sentence precision | 53 | 0.715 | 0.711 | 0.642 | +0.070† |
カバレッジ指向選択は取得した証拠のカバレッジを増加させたものの、オラクル選択による大幅なカバレッジ向上が回答カバレッジの改善に直結しないことが報告されている。すなわち、証拠を増やすだけでは回答の完全性が保証されないという限界が明らかになった。
以上の結果は、検索時にカバレッジを明示的にモデル化することで、証拠の幅を拡大しつつ関連性を維持できることを示唆するが、取得したカバレッジが回答の質に直接結びつくわけではないという注意点を示している。