arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
自然言語処理日本語公開済み

評価したモデル群の一部でState Integrity Collapse(状態整合性崩壊)を確認—ベンチ内の観測失敗の大部分が「記憶するが適用しない」事例だった(厳格結合保持は62.4%–100.0%)

2026年10月25日arXiv: 2610.31314v1

研究者らは、モデルが指示を記憶して再述できても、それを次の応答で守らなくなる現象を「State Integrity Collapse(SIC)」と定義しました。SICは単なる忘却とは異なります。忘却は規則を再生できないことを指しますが、SICは再生(リコール)は可能でも実際の生成で規則が適用されないことを意味します(「再述できるが従わない」)。(SIC の定義と区別)[F1]

この現象を測るために、著者らはStateTrack-Benchというベンチマークを作りました。各試行は三段階の対話で構成されます。まず設定フェーズで持続的な制約を注入します。続いて、制約を直接再述しない範囲で意味的に関連する誘導(ディストラクタ)を数ターン挟みます。最後にテストフェーズで、元の制約を満たしながら応答できるかを確認します。テストフェーズで元の制約を満たしつつ応答することを要求します。試験は5つの制約カテゴリ(数値、出力形式、役割/ペルソナ、事実記憶の結び付け、論理ルール)と対話深度T={3,5,7,10,12}で行います。ベンチマークはモデルごとに125のシナリオ深度プローブ(カテゴリごと25)を含み、7つのモデルスナップショットで合計875の主要スコア出力を評価する設計です(診断精度を重視)[F2][F3][F4][F5].

SICの定量化には「フォークド」リコール/コンプライアンス監査を用いました。各履歴について、(1)コンプライアンス枝で実際のタスク回答が制約を守るかを判定し、(2)リコール枝で制約を再述できるかを判定します。インスタンスごとに両枝の出力を比較し、SIC(|r−b|)やSIC+(再述はするが従わない事例)などを算出します。さらにヘッドライン指標として「厳格な結合保持(strict joint retention)」を用い、即時タスク成功と持続制約両方を満たした応答のみを成功と数えます(保守的な配備指標)。評価には決定論的デコーディングと固定ジャッジプロンプトを用いました[F6][F5][F7].

主要な結果は次の通りです。評価した7モデルと5段階の深度での厳格結合保持はモデル依存で大きく変動しました。全体レンジは62.4%(Gemini-3.1-Pro)から100.0%(DeepSeek-v4-Flash)でした。カテゴリ別では、事実記憶結び付けやペルソナは高保持(95%台)にとどまる一方、数値・形式・論理ルールなどの「記号的」制約は低めで崩れやすい傾向がありました(数値87.7%、形式85.5%、論理83.5%の平均など)[F8].

フォークド監査の分解では、観測された失敗の大部分が「整合性の崩壊(SIC+:再述は可能だが実行しない)」でした。全体では88.6%の失敗がSIC+であり、最も脆弱な外れ値モデル(Gemini-3.1-Pro)を除いても84.4%がSIC+でした。これは失敗の主原因が“記憶喪失”ではなく“記憶の非適用(行動ドリフト)”であることを示します[F9].

より深い対話(最大50ターン)でもこのリコール—コンプライアンスの乖離は残りました。パイロットでは数値制約の深度50でリコールは100.0%を保った一方、実際のコンプライアンスは79.2%に低下し、SIC+は20.8%になりました。これは規則表現自体の消失ではなく、応答内部での計算や自己検証段階での実行失敗を示唆します(例:応答内部のカウント実行失敗)[F11].

対策として提案された推論時の介入「Structured State Anchoring(SSA)」は、活性状態を構造化して先頭に付加し、検証とリトライを行う方法です。ストレステストでは、SSAにより不変制約に対してGemini-3.1-Proで最大+24.4ポイントの回復が観測されました。つまり、推論時の制御や再検証で整合性の多くを取り戻せる可能性がありますが、完全解決ではありません[F10].

評価手続きの信頼性についても報告があります。主要な自動ジャッジはGPT-5.4(temperature=0)で固定プロンプトを用い、対話履歴と制約と応答を与えて二値のコンプライアンス判定と短い正当化を出力しました。複数アーキテクチャにまたがるジャッジでの交差検証は高い一致(Fleiss’ κ = 0.89)を示しました。また、デコーディングの温度を上げた再評価でも最大シフトは約2.1ポイントで、モデルの序列やカテゴリ傾向は保存されました(サンプリング感度は小さい)[F12][F13].

著者らは結果の解釈にいくつかの制約を明示しています。コアベンチマークのカテゴリごとの試行数は25で、細かなカテゴリ内差の統計力は限定的です。評価はLLMベースのジャッジに依存しており、クロスリンガルや多制約、動的な取り消し・更新の検証は十分に扱われていません。さらに、誘導(ディストラクタ)は協力的な非敵対条件に設定されています。これらは将来の拡張課題です[F14].

要点の整理です。SICは「ルールを覚えているのに従わない」現象です。StateTrack-Benchはこれを三段階の対話で診断します。多くの失敗は記憶喪失ではなく記憶の非適用であり、推論時の検証や制御(SSAなど)が改善に寄与することが示されました。ただし、サンプル数や評価範囲の制限、単一制約設定などの注意点があります。[F1][F2][F3][F4][F5][F6][F7][F8][F9][F10][F11][F12][F13][F14]

元論文

When LLMs Forget What They Believe: Characterizing State Integrity Collapse in Long-Horizon Dialogues

自然言語処理人工知能
arXiv で見る
評価したモデル群の一部でState Integrity Collapse(状態整合性崩壊)を確認—ベンチ内の観測失敗の大部分が「記憶するが適用しない」事例だった(厳格結合保持は62.4%–100.0%) | arXiv News