すべての人に一次情報を
近年の大規模言語モデル(Llama‑3.3‑70B‑Instruct)で、新たに知識否定役割を加えたペルソナ対比(extended persona contrast)が、既存の単一データセットプローブよりも嘘検知に優れることが報告されました。
この手法では、モデルに対して「知らない」「知っている」質問をそれぞれ行い、両回答に同じ否定文を付与します。こうすることで、回答の語句構成を一定にし、モデルが真に知っているかどうかを中間層の活性化パターンで判別します。
実験では、Liars’ Benchベンチマークの中間層でのAUROC(真陽性率対偽陽性率の曲線下面積)が0.916に達し、同条件下での従来の生活性プローブ(raw activation probe)の0.732を0.184ポイント上回りました。この差はランダム平均を超える有意差であると評価されます。

一方で、ペルソナベースの検知器は否定文の語句に大きく依存する傾向が見られました。知識に関する嘘と、誠実な否定が同一テキストで表現された場合、検知性能はランダムレベルに近くなることが確認されました。
以上の結果は、ペルソナ対比が多様な嘘タイプに対して一般化し得る可能性を示唆していますが、否定文の語句依存性が実運用での信頼性を制限する点を示す重要な制約でもあります。
> ※図2に示される中間層におけるAUROC値は、上記0.916(extended contrast)と0.732(raw activation probe)の比較を示しています。