Grad‑CAMは放射線科医より所見を判定する精度が低く、ヒット率は最大で0.575に対し放射線科医は0.888だった。 したがって、Grad‑CAMは人間と同等の局在化能力を持たないことが示された。

DenseNet‑121という畳み込みネットワークとViT‑B/16というビジョントランスフォーマーは、NIH ChestX‑ray14データセットで学習され、NIHの訓練病院と米国とベトナムの外部病院それぞれで303,768件の診断に対して評価された。 それぞれの説明は胸部領域への注目度でスコア付けされ、モデルの信頼度を超える誤差検知が試みられた。

外部病院への移行後、CheXpertではDenseNet‑121のマクロAUROCが0.857から0.824へ、ViT‑B/16は0.844から0.803へ低下した。一方VinDr‑CXRではDenseNet‑121が0.829から0.893へ上昇し、ViT‑B/16は0.817から0.886へ上がった。 これは外部サイトのラベル品質が結果に影響することを示唆している。

モデルの誤差検知に解剖学的エンリッチメントを追加したが、どのサイトでもAUCは0.011を超える改善を示さず、畳み込みネットワークではエンリッチメントと正確さの関係が病院間で逆転し、転送検出器の性能が低下した。 したがって、ネットワークの信頼度がドプロイメント時のモニタリングの指標として有用であり、saliencyマップより信頼度を重視すべきである。