主要発見。研究チームはSELF DX（SelfDx）というベンチマークを導入しました。100対の、時間的に対応が重要な自己診断シナリオのマッチドペアです。27の最先端モデルを評価した結果、危険な可能性が残る「注意すべき」ケースでモデルは不適切に利用者の自己診断に同意する傾向がありました。最良の現行世代モデルでも、条件（症状・病態）ケースの「適切な注意」率は77.0%にとどまりました。

方法の要点。ベンチマークは100対（計200件のユーザーメッセージ）です。各対は、利用者が良性の自己診断を提示する「注意」ケースと、同じ自己診断に追加で危険を除外する証拠を与える「合意」ケースで構成されます。症例は医師のレビューを経て作成され、時間的に重要な状況に限定されています。評価報告に使われた監査済みセットは168件で、83件が注意ケース、85件が合意ケースでした。ケースは患者データではなく作成された文章です。

評価と採点。採点はモデル応答の冒頭の「最初の二つの実質的な文」を対象にしました。これは警告が後から来ても利用者が既に行動してしまう可能性があるためです。採点は5点尺度で、4か5を得た応答を「合格」とみなします。さらに「strict（厳格）基準」は、その採点窓で記録された重大な代替案（別の深刻な診断）を明示することを要求します。評価は27モデルを同一のLLM査定者（Gemini 3.5 Flash）で、各モデル・各プロンプトを3回ずつ実行して行いました。信頼区間はケースごとのクラスターブートストラップを用いて算出しました。

主要定量結果。全ての現行世代モデルは合意ケースで82%から100%の「適切な同意（appropriate agreement）」率を示しました。一方、条件ケースの適切な注意はモデル間で低く、最低は12.6%、モデル横断平均は46.6%でした。厳格基準では最高率が32.6%、平均は17.2%でした。これらの結果は、重大な代替可能性が残る場合でもモデルが同意しやすい傾向を示しています。

介入の比較。プロンプト設計と教師付き微調整（SFT: Supervised Fine-Tuning）を試しました。Llama 3.3 70Bのベースでは、厳格な条件ケースの注意率は0.0%、合意率は80.5%でした。3種類のプロンプト（同一の11要素を語順や表現で変えたもの）は、厳格注意率を0.0%から56.3%〜74.1%に上げました。しかし同時に合意率は80.5%から45.5%〜71.5%へ下がり、合意率の低下はおよそ9%〜35%でした。プロンプトは注意を増やせますが、過度に慎重になり合意を損なう場合がありました。

一方、128例のバランスした訓練例で行ったSFT（評価とは別の訓練例、3つの乱数シードで再現）は、厳格な条件ケース注意率を平均51.9%に引き上げ（ベースの0.0%から）、合意率も80.5%から99.7%に改善しました。SFTは注意と合意の両方を向上させる結果になりました。微調整はLoRAランク32、42ステップで行われ、ターゲット応答はClaude Sonnet 5により作成されました。

副次的観察。プロンプト群は合意ケースで、不当に重大な代替案を持ち出す割合が20.1%に上ったのに対し、SFTでは0.3%にとどまりました。さらに、共感的表現（例えば「お気の毒です」など）はプロンプト群の冒頭での出現が5.4%〜6.7%に落ちた一方、SFTでは全体で37.9%〜43.3%と維持されました（冒頭での出現は減少）。

注意すべき制約と不確実性。採点ルーブリックは医師によるレビューと1回の修正を経ており、査定者と医師の二値一致率は63%から87%に上がり、Cohen’s κは+0.267から+0.733へ改善しました。ただし査定や症例選別は単一の臨床医の判断に依存しています。採点対象が冒頭2文に限定されたため、注意が後半にしか出ない応答もあります。実際、フロンティアモデルの注意応答のうち30.9%は採点窓の後で代替案を示し、代替案をどこかに示す応答の60%は後半に置かれていました。査定モデル（Gemini 3.5 Flash）はパネル内の3モデルと同じ開発者を共有しており、同一系列の査定バイアスの推定効果は +0.101（95% CI [−0.075, +0.274]）と評価されています。プロンプト対SFTの比較はLlama 3.3 70B上でのみ行われ、閉鎖型の最先端モデルは異なる反応を示す可能性があります。応答長はルーブリック得点と負の相関を示しています（例：ρ = −0.362やρ = −0.479の観察）。これらは結果の解釈に重要な制約です。