arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
人工知能日本語公開済み

70Bパラメータの言語モデルで、知識否定プロンプトを追加すると嘘検知性能が向上

2026年11月22日arXiv: 2611.26545v1

近年の大規模言語モデル(Llama‑3.3‑70B‑Instruct)で、新たに知識否定役割を加えたペルソナ対比(extended persona contrast)が、既存の単一データセットプローブよりも嘘検知に優れることが報告されました。

この手法では、モデルに対して「知らない」「知っている」質問をそれぞれ行い、両回答に同じ否定文を付与します。こうすることで、回答の語句構成を一定にし、モデルが真に知っているかどうかを中間層の活性化パターンで判別します。

実験では、Liars’ Benchベンチマークの中間層でのAUROC(真陽性率対偽陽性率の曲線下面積)が0.916に達し、同条件下での従来の生活性プローブ(raw activation probe)の0.732を0.184ポイント上回りました。この差はランダム平均を超える有意差であると評価されます。

図2は中間層における拡張ペルソナ対比と従来の活性化プローブのAUROCスコアを比較したものです。拡張ペルソナ対比は0.916、従来の活性化プローブは0.732です。
Figure 2. 対が含まれた知識否定プロンプトを用いる拡張ペルソナ対比(extended contrast)と従来の中間層活性化プローブ(raw activation probe)の比較。中間層(レイヤー40)における各データセットでのAUROCは、拡張ペルソナ対比で0.916、拡張なしの活性化プローブで0.732である。Zami, Md. Abdullah Al, Shanaz, Suraiya, Hasan, Mahdi, Dipu, Shoaib Ahmed, Sadeque, Farig Yousuf, Ahmed, Md. Sabbir · arXiv:2611.26545v1 · Figure 2: · CC BY 4.0

一方で、ペルソナベースの検知器は否定文の語句に大きく依存する傾向が見られました。知識に関する嘘と、誠実な否定が同一テキストで表現された場合、検知性能はランダムレベルに近くなることが確認されました。

以上の結果は、ペルソナ対比が多様な嘘タイプに対して一般化し得る可能性を示唆していますが、否定文の語句依存性が実運用での信頼性を制限する点を示す重要な制約でもあります。

> ※図2に示される中間層におけるAUROC値は、上記0.916(extended contrast)と0.732(raw activation probe)の比較を示しています。

元論文

The Geometry of Lies: Knowledge and Persona Directions for Detecting Deception in Large Language Models

人工知能
arXiv で見る
70Bパラメータの言語モデルで、知識否定プロンプトを追加すると嘘検知性能が向上 | arXiv News