arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

Pre‑trained 決定モデルでウェブ検索における隠しプロンプト注入を効果的に遮断 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
暗号日本語公開済み

Pre‑trained 決定モデルでウェブ検索における隠しプロンプト注入を効果的に遮断

2026年11月15日arXiv: 2611.08325v1

Pre‑trained の決定モデルである Kev‑4B を用いると、ウェブ検索で取得したページに隠れた指示文が含まれていても、従来の対策よりも攻撃成功率を約50%に低減できることが実証された。これは、公開済み重みを微調整せずに即座に応答するモデルを「ゲート」として配置することで実現される。

ゲートは、取得したページの HTML を一回読み込み、3 つの二値質問(AI に指示しているか、誤情報を含むか、クエリに関連性があるか)に対してスコアを返す。スコアが高いとそのページは全面的に破棄され、スコアが中程度なら回答全体を「引用を要求する」プロンプトで生成し、低い場合は通常の生成器に渡される。Figure 1 はこのフローを図式化している。

図:Web ページの HTML を1回読み込み、三つの二値質問に対してスコアを返し、スコアが高ければ破棄、低ければ生成へ渡し、ま中程度なら「引用を要求する」プロンプトで生成に渡すゲートのフロー
Figure 1. Gate flow diagram depicting how each retrieved passage’s HTML is fed once to a decision model that scores three binary questions. Scores that exceed the drop threshold cause the passage to be discarded; moderate scores trigger generation with a citation request; low scores allow the passage to proceed to the language‑model generator.Ghadamyari, Mahdi, Habibi, Reza · arXiv:2611.08325v1 · Figure 1. · CC BY 4.0

ベンチマークで 1,000 件のフォーラム調査クエリを使用し、隠し指示を注入したページを対象にした実験では、従来のサニタイズ・正規化・引用プロンプトのみで攻撃成功率(ASR)が 27.9 % から 13.6 % に低下し、Kev‑4B ゲートを追加するとさらに 5.7 % まで減少した。ゲートは各ページに対して 76 ms の遅延を生むが、検索時の応答率は 85.6 % から 86.2 % の間でほぼ変動しない。この結果は Table 3 に示されている。

表:1,000 件のクエリに対し、ベンチマークでの攻撃成功率(ASR)、偽陽性率(FPR)、検索時応答率を表示。Kev ゲートを追加するとASRが13.6 %から5.7 %に低下し、各ページに対する遅延は76 msである
ConfigurationStd. ASRVar. ASRFPRResp.
Vanilla (guard prompt)27.97.6–87.3
Combined mitigations13.62.9–85.6
TF-IDF detector, drop >0.8515.6–1.189.4
Laya gate (HTML), drop >0.513.3–19.979.0
Kev gate (HTML), drop >0.516.85.42.289.2
Kev gate (HTML), drop >0.3510.2–27.489.3
Combined + TF-IDF10.6–1.184.8
Combined + Laya gate8.6–19.973.7
Combined + Kev gate, drop >0.55.71.72.286.2
Combined + LLM judge (70B), drop >0.50.4–18.386.6
Combined + Kev gate, drop >0.352.9–27.485.8
Table 2. Table 3: Benchmark results for 1,000 forum‑style queries showing attack success rates (ASR) for the baseline, published mitigations, and the Kev gate, along with false‑positive rate (FPR) and responsiveness. The Kev gate reduces ASR from 13.6 % to 5.7 % at a latency of 76 ms per passage.Ghadamyari, Mahdi, Habibi, Reza · arXiv:2611.08325v1 · Table 2. · CC BY 4.0

また 186 件の正常ページのうち 4 件で偽陽性が報告され、偽陽性率は 2.2 % である。さらに同一クエリで複数回現れるハードネガティブテンプレートが存在するため、実際の稼働環境での誤検知率はこれより高くなる可能性がある。

総じて、公開済みの軽量決定モデルをゲートとして配置することで、ウェブ検索における隠しプロンプト注入対策が約50%向上することが示されたが、偽陽性とテンプレートの繰り返しによるリスクを考慮した慎重な導入とさらなる実環境テストが必要である。

元論文

Decision Models as Retrieval Gates Against Injection and Pollution

暗号情報検索
arXiv で見る