AIチャットボットの回答は、ユーザーがどの立場で相談するかで大きく変わります。大規模調査で、35,055件の自由回答のうち、85 ％が専門家への相談を勧め、11 ％が自律医療ではないと付記しました。

調査は、41種の言語モデルを対象にし、19件の症例を「医師」「介護者」「本人」の3つの立場で提示する「自然対話」臨界と、同じ症例に対して介入リストを提示し評価を行う「構造化評価」の2つの臨床検証に分かれました。各モデルは3回ずつプロンプトを実行し、総計855件の応答を生成しました。

立場が「医師」からの質問の場合、専門家相談の推奨は66 ％でしたが、介護者・本人からの場合は95 ％に上昇します。特に、米国FDA承認薬リスデキサメフェタミンは医師立場で91–92 ％、本人立場でわずか18 ％という差が見られました。

また、介護者・本人からの質問では、ベンジエイティング障害薬に対して依存の警告など、条件付きの推奨が医師立場よりも多く含まれました。

構造化評価で、推奨率5 ％以上の 621項目のうち 83項目が平均評価がゼロ未満でした。 これはモデルが自ら判断する「初期選択として不適切」と見なした介入が、実際に推奨されていることを示しています。

評価は専門家世代の答えに基づかず、200件のサンプルに対して人手でコーディングを行い、Krippendorff’s α で一致度を測定しました。

本調査は立場・介入タイプ・プロンプト表記のみを系統的に変化させましたが、他の非測定要因が結果に影響を与える可能性があります。