視覚言語モデル（VLM）は、ラベルだけでなく回答の自信度と理由を提示するよう進化したが、実際には回答と自信度、理由が合致しない場合が多いことが報告された。

本研究は、RSNAとEMBEDの2つのマンモグラフィデータセットを用い、乳密度とBI‑RADs分類に4つのオープンソースVLMを評価した。評価は画像の有無・質の変化（オリジナル、関係のない画像、白紙画像、画像なし）、質問の変更、および選択肢の順序変更といった6つの制御変化で行われた。

結果は、RSNA‑BI‑RADsタスクでMedGemma‑4Bが42.4 %の適合率を示すのに対し、Lingshu‑7Bが12.0 %、Qwen2‑VL‑7Bが2.9 %、InternVL3‑8Bが7.7 %に留まった。Qwen2‑VL‑7Bは「None of the above（以上のいずれでもない）」を62.8 %の確率で選択した。

乳密度タスクではMedGemma‑4Bが33.9 %、Lingshu‑7Bが49.3 %、Qwen2‑VL‑7Bが24.8 %、InternVL3‑8Bが42.0 %の正確性を示した。Qwen2‑VL‑7Bは「None of the above」を33.2 %選んだ。

画像を無効化した条件下では、MedGemma‑4Bの正しい回答に対する自信度は60.3 %からほぼ0に低下し、代わりに誤ったカテゴリーを支持する傾向が見られた。対照的にQwen2‑VL‑7Bは画像なし時に38–100 %の自信度を示し、常に除外を選択することで正答率を維持した。

選択肢の順序をランダム化すると、各モデルの回答転換率は38 %から99 %に達し、正答率に大きな影響を与えた。多くの転換で回答は不正確なままであるか、または正解に戻らないケースが多かった。

本研究の評価は、タスクが定型化された多肢選択式であるため、選択肢の順序や文言に敏感であることが、一般的なVLMの振る舞いを反映しているわけではないと指摘している。また、医療上重要な変化（左右の入れ替えや視点の変更）は試験に含まれておらず、結果の一般化には限界がある。モデルが抱える自信度と証拠の不一致は、幻覚的推論または「ミラー現象」と呼ばれる現象に起因する可能性があるが、正確な原因は不明で更なる検証が必要である。