arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
暗号日本語公開済み

SecPOと対抗訓練でチャットモデルのプロンプト注入耐性を8倍に改善

2026年11月3日arXiv: 2610.41998v1

研究者らは、理想化された注入不変オラクルモデルの出力分布を学習時に参照できることを示し、新たな\u30ce\u30b9\u30b9\u30d5\u30c3\u30d9\u30eb(SecPO)損失を設計しました。SecPOは従来のDPO正則化の代わりにオラクル分布へのKLダイバージェンスを用い、注入に対して不変な応答計画を促します。さらに、PAIRに基づく高性能な対抗訓練(AT)を組み合わせ、強力なプロンプト注入を自動生成し、モデルに学習させました。この組み合わせは、Meta‑SecAlign(DPO+非AT)と比べてアダプティブ攻撃の成功率(ASR)を約8.5倍低減します。Llama‑3.1‑8B‑Instructでは、ASRが89.6%から10.5%へ、Genetic・TAP・PISmith各攻撃のASRがそれぞれ89.1%→12.3%、84.6%→12.2%、95.1%→7.0%と改善しました。

Llama‑3.1‑8B‑Instruct の三種モデルの MMLU‑Pro、GPQA Diamond、GSM8K、Minerva Math、AlpacaEval2、SEP Utility などのベンチマークスコアと、SEP ASR・Genetic Adpt. ASR@800・TAP Adpt. ASR@800・PISmith Adpt. ASR@10 のアンチインジェクション攻撃成功率が一覧で比較されている表。
MetricUndef.[14]Ours
MMLU-Pro (↑)46.5%46.7%46.3%
GPQA Diamond (↑)
23.7%
24.2%
24.2%
GSM8K (↑)82.9%84.4%81.3%
Minerva Math (↑)49.2%48.8%50.1%
AlpacaEval2 (↑)23.7%24.0%23.7%
SEP Utility (↑)55.4%55.9%59.4%
SEP ASR (↓)98.1%1.8%1.4%
Genetic Adpt. ASR@800 (↓)100.0%89.1%12.3%
TAP Adpt. ASR@800 (↓)100.0%84.6%12.2%
PISmith Adpt. ASR@10 (↓)98.7%95.1%7.0%
Table 1. Llama‑3.1‑8B‑Instruct: 無防御・Meta‑SecAlign(DPO+非AT)・SecPO+AT のベンチマーク性能とアダプティブ攻撃成功率(ASR)。Chen, Sizhe, Peng, Yibo, Chang, Jaewon, Sitawarin, Chawin, Wagner, David · arXiv:2610.41998v1 · Table 1: · CC BY 4.0

同時に、MMLU‑ProやGSM8Kなど9つのベンチマークでの有害なユーティリティ損失はほぼ観測できず、ベンチマーク性能は無防御モデルと同等に保たれています。Qwen‑3.6‑27Bにも適用すると、攻撃成功率が8.8%に低下し、Meta‑SecAlignの78.8%と比較して約10倍に安全になる一方で、ツール呼び出しや事実追跡、科学・数学タスクの性能も維持されています。

元論文

SecPO: Principled Adversarial Training for Prompt Injection Security

暗号人工知能
arXiv で見る
SecPOと対抗訓練でチャットモデルのプロンプト注入耐性を8倍に改善 | arXiv News