arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
人工知能日本語公開済み

商用チャットボットは質問者のプロファイルによって禁煙相談の内容が変わる

2026年11月3日arXiv: 2610.42039v1

六つの大型言語モデル(Claude Haiku、Claude Sonnet、Gemini 2.5 Flash、Gemini 2.5 Pro、GPT‑5.5、Grok 4.3)を使って、12種類の合成プロファイル(ティーン・大学生・中年職人・退職者)とそれぞれの専門知識レベル(初心者・情報筋・専門家)で、同じ四つの禁煙質問を回答させた。 - それぞれの回答は実質的に同じ質問内容であっても、質問者の年齢層や職業、以前の喫煙歴に応じて長さや事実の数、処方薬の言及が大きく異なった。 - ティーン世代の回答では処方薬(例:ニコチンパッチ、バレニクリンなど)が22〜57 %でしか言及されず、対して中年・退職者では75〜98 %の回答が処方薬を示した。 - さらに、短いシステムプロンプトを追加して「必ず主要医療情報を含めよ」と指示した場合、各モデルで年齢層別のバイアスが変化し、同一プロンプトでも効果に差が出た。

テーブルには各モデルのティーン、大学、ミッドキャリア、リタイアの四段階での処方薬の言及率と、その差を示すGapが示されている。
ModelTeenColl.Mid-careerRetiredGap
Claude Haiku0.570.700.780.880.32
Claude Sonnet0.50
0.98
0.97
0.97
0.48
Gemini 2.5 Flash0.470.780.900.850.43
Gemini 2.5 Pro0.150.370.650.750.60
GPT-5.50.220.830.880.880.67
Grok 4.30.551.000.981.000.45
Table 4. ティーン世代を含む4つの人生段階での処方薬名の言及率(Baseline 情況)与えられた単純指標であり、Gap 列は「最高値 − 最低値」を示します。Yousefi, Artin, Aiersilan, Aizierjiang, Abroms, Lorien C, Broniatowski, David A · arXiv:2610.42039v1 · Table 4: · CC BY 4.0

これは、商用チャットボットが健康相談に対し均一な回答を提供できていないことを示す。モデルが提示する情報は質問者の背景に強く影響されるため、ユーザーが得る助言の質が不均一になる。 ただし、プロファイル設計自体が年齢・喫煙歴・職業を同時に変更しているため、「年齢だけが影響を与えている」という結論は出せない。自動採点は「薬名が出ているか」を判定するだけで、正しく推奨されているかどうかは把握できない。

本研究は実験条件を同一に保ち、六つのモデルすべてでパターン効果が観察されたことを示す。しかし、結果は実際の臨床効果や展開準備を示すものではない。

元論文

Same Question, Different Answers: Auditing Persona-Dependent Variation in Six LLMs on Smoking-Cessation Advice

人工知能
arXiv で見る
商用チャットボットは質問者のプロファイルによって禁煙相談の内容が変わる | arXiv News