大型言語モデル(AI)アシスタントは、公式の重災害警報（例：国立気象サービスNWS）が見えない場合、実際に警報が出ているときに条件が穏やかだとユーザーに伝える誤った安心感を与えることが報告されました。研究では、実際のNWS警報を基にした117件のケース（警報69件、警報なし32件、非米国ケース16件）を再生し、5つの異なるパイプライン設定を試しました。設定A（本番）は、警報を届き次第表示し、生成文に警報の有無を含める典型的な構成です。設定A2は同じ警報データを持ちつつ、中立的なプロンプトのみを使用します。設定Bは警報情報を持たず、中立的に「現在警報はありません」と示すプロンプトです。設定CはBに加えて「警報が閲覧できない」と伝える指示を付けます。設定Dは単なる質問プロンプトのみです。

結果は次のとおりでした。Aの条件下では誤安心感は0％（0/66、95％信頼区間0.0–5.5）。しかし、Bでは26/69（37.7％）、Cでは31/69（44.9％）が該当し、A2では0/69でした。AとBの比較（χ²=23.04, p<0.0001）とA2とBの比較（χ²=24.04, p<0.0001）では、本番設定が誤安心感を有意に低減することが確認されました。CとBの比較では統計的差はなく、指示を加えても誤安心感は減少しません（χ²=0.70, p=0.40）。

また、警報データのみでは安全な挙動を保証できないことも示されました。設定Bは警報が無いケースの87.5％で警報を提示し、Aでは0％でした。これから警報情報だけでなく、プロンプト設計も重要であることが示唆されます。

研究の限界として、117件というサンプルサイズは小さく、罰則区間が広いこと、ラベリングは単一評価者によるもので信頼性が不明、完全な警報テキストではなくヘッドライン情報のみを利用したことなどが挙げられます。また、データ収集期間が10月末であるため、竜巻や熱波など高リスク警報が含まれていません。さらに、研究対象はClaude Sonnet‑4.6という一つのモデルファミリーと一つのパイプラインに限定され、他モデルへの普遍性は不明です。