すべての人に一次情報を
AI判定器は、指定された基準に従って別のAIモデルの出力を評価し、その評価結果を人間やシステムが活用できる形で返すことができる。
この評価方法を報告する際には、判定器の範囲と構成、使用する基準、医療従事者との比較、サンプルデータ、そして監視詳細をすべて明記する必要がある。具体的には、モデルのバージョン、完全なプロンプト、採点基準、例示回答、入力の準備方法、デコーディング設定、ツール使用、そしてスコア結合ルールを明確に示すことが求められる。
また、複数ステップの臨床面接を評価する場合には、判定器がどれだけ前の文脈を参照できたか、転写だけでなくツールの呼び出しもチェックしたか、そして各段階でエラーが発生したかを報告しなければならない。パネル構成の場合は、各判定器のモデルやバージョン、役割、モデルファミリーを一覧化し、判定器間の不一致頻度や同一エラーの発生率を独立して収集した医師ラベルと比較して測定する。
医師と判定器を比較評価するには、マッチドベースライン設計とブラインディング、審査方法を事前に設定し、元の医師評価を保持する必要がある。各基準に対して、医師間の不一致がエラーを示すか、それとも妥当な差異を示すかを判断し、参照ラベルを決定する。その結果は、医師が合意した場合と分裂した場合で基準別に報告し、yes‑or‑no項目では医師評価の有病率と2×2テーブルをきちんと提示する。
しかしながら、判定器は欠落した事実を検出できない「省略盲点」を示す可能性がある。実験では8種類の判定器設計において、LLM判定器は事実が削除されたメモと元のメモを区別する能力が偶然にほぼ等しく、追加や変更内容の検出には良好な性能を示した。最高スコアを得たプロンプトを維持するか、判定器の判定に基づいて転写者を再訓練すると、将来のメモで欠損が増加する恐れがある。臨床AI判定器を信頼するには、臨床上重要なエラーを検出するための事前設定された閾値を満たす必要がある。