要点 研究チームは、大規模言語モデル（LLM）が出す「確信度スコア」を盲信せず、修復（Repair）、採用判断（Adopt）、残存誤りの診断（Diagnose）を分離して扱う新しいワークフロー「RADAR」を提案しました。本手法は、単純なスカラー再校正だけでは見えない問題を明確に扱えるようにすることを目指しています。

背景と課題 LLMの出力にはしばしば確信度（例えばBrierスコアや確率）が付与され、受け入れ・再検討・再生成の判断に使われます。しかし従来のスカラー再校正（温度スケーリングやアイソトニック回帰など）は、スコア自体に現れる誤差しか直せません。たとえばスコアが同じでも正解・誤りの種類が組み合わさっている場合、単に数値を補正しても「どのケースで失敗するか」は明らかになりません。

RADARの構成要素 - Repair（修復）: Probe-Anchored Isotonic Calibration（PAIC）を導入。これは外部の「正答予測プローブ」を使い、ラベル無しのターゲットプロンプト上で元のスコアの単調写像を学習します。ターゲットラベルが得られない状況でもマップを作れる点が特徴ですが、プローブの「スコア条件付きバイアス」が重要になります。 - Adopt（採用判断）: 改善を実際に導入するかは、ラベル付きの保持検証で確かめる必要があると主張します。著者らはペア化された検定（betting ベースの手法）で、「改善と見なして導入したが実際には良くなっていなかった」確率を有限標本下で制御する方法を示しています。 - Diagnose（監査）: 残された系統的誤りを見つけるため、プロンプト単位のクラスタ化を考慮したカーネル検定を提案。ひとつのプロンプトからの複数応答が相関する実務的な性質を踏まえ、特徴に沿った平均残差を検出します。

理論的な整理 著者らは二乗損失の下で予測リスクを「結果のノイズ」「スコアに隠れた情報」「写像誤差」に分解します。さらに「スコアの順序を保つ」という制約を置くと、異なるスコアの情報を統合してしまう“プーリングギャップ”が新たに現れることを示しました。重要な帰結は、スカラー写像で改善できるのは写像誤差だけで、スコアにそもそも含まれない情報は取り戻せない、という点です。

実験の概観と慎重な評価 複数のモデル（Llama, Qwen, Mistral）とベンチマーク（BoolQ, ARC, MATH等）で検証したところ、リッチな（より多様な特徴を使う）予測器は確かに信頼度推定を改善することがある一方で、その情報を元のスカラー・スコアに戻すと利得が失われる場合があったと報告しています。さらに、二乗損失の低下が必ずしも現場での意思決定（例：レビュー/受理の実用的損失）を改善するとは限らない点を強調しています。

数値的な目安（論文中の報告） 著者らは過去のスコア割当を再現した47,400件のケースで比較を行い、ペア化ベッティング法は保持検証で有利な候補を採用した割合が約42.95%であったのに対し、一方的な経験的ベルンシュタイン法では約15.09%だった、と報告しています（ただしこれらの比率は再現された条件や設計に依存するため、一般化には注意が必要です）。

利点と実務上の示唆 - 「修復（Repair）」と「採用（Adopt）」を分離するワークフローは、ラベルが不足する現場でも合理的にスコアを改善できる可能性を開きます。PAICはターゲット分布の無ラベルデータを利用できる点で実務的です。 - しかし導入前に必ずラベル付きの検証を行い、誤った改善を生産環境に持ち込まない仕組み（著者の採用判定のような保証）は重要です。

限界と注意点 - PAICや同様の方法は、元スコアにそもそも表現されていない情報を取り戻すことはできません。プローブの誤差がスコア条件付きに偏っていると、写像の品質が損なわれます。 - 監査は選んだ特徴／カーネルに沿った残差のみを検出します。検出できない種類の系統誤りもあり得ます。 - 理論的保証は独立なプロンプトクラスタやサンプル分割などの前提に依存します。実運用ではこれらの前提が満たされないことがあるため慎重な設計が必要です。 - 著者らはコードとデータをアクセプト時に公開すると述べていますが、現時点（査読前のプレプリント）では実装の検証が限られます。