HaluCheckは、テキストとエージェントの「幻覚」を検出・診断するための大規模双言語ベンチマークである。<br> HaluCheckはWikipediaやQAパッセージに制御された細粒度の誤情報を注入し、さらに実際の対話やエージェント行動に同様のパターンを組み込むことで作られた。各注入例は、複数の言語モデルと人間のチェックで検証され、検出、位置特定、修正、根本原因追跡といった多層アノテーションを持つ。<br> {"visual":"visual_2"}<br> ベンチマークは14種類の大規模言語モデル（LLM）を対象に評価を実施した。評価ではテキストベースの幻覚検出とエージェント行動の幻覚検出を別々に測定した。<br> 最も優れたテキスト検出精度は、GoogleのGemini3.1‑Proで84.35 %に達した。エージェント側では同モデルが70.07 %の精度を示した。<br> {"visual":"visual_5"}<br> ただし、モデルは細粒度の位置特定や誤情報の修正、エージェントの幻覚特定に関しては大きな性能低下を示している。思考ステップの追加や外部知識へのアクセス、専門的なファインチューニングを試みても、完全な解決には至らず、依然として認識のギャップが残る。<br> また、ベンチマークは“自信度”や「修正率」といったメトリクスを併せて提供しており、モデルの不確実性に対する自己認識も評価できる。>