新しい研究（arXiv:2609.29848v1）は、大規模言語モデル（LLM）が統語的なテストに失敗する原因を「構造をそもそも符号化していない」か「符号化しているが出力時に使っていない」の二つに分けて考える従来の問題意識を一歩進め、三段階の評価枠組みを提案しています。研究者たちは同一の問題文・同一の二値判断について、（1）行動的出力（behavioral deployment）、（2）LMヘッドから直接読む判定（LM-head readout）、（3）プローブで回復可能かどうか（probe recoverability）――という三つを同一基準で測定し、比較しました。対象は英語・中国語・ドイツ語の簡潔な三言語コントロール依存ベンチマークで、7つのモデルに対して評価が行われています。結果は慎重に解釈すべき強い示唆を与えます。主な発見は次の通りです。

- 全体傾向：プローブによる回復可能性（recoverability）は、あるかぎりLMヘッド読出し（readout）を上回るか等しく、LMヘッド読出しは行動的出力（deployment）を上回るか等しい、という順序が、7モデル・3言語の集計で一貫して観察されました。言い換えれば、モデルが内部に情報を符号化していても、それが最終出力に反映されない場合がよくある、ということです。

- ギャップの集中領域：この“符号化はあるが展開されない”断絶は特に「主語制御（subject-control）」構文に集中していました。ここでは「最も近い名詞を選ぶ」という近接ヒューリスティックが誤った判断を導く場面が多く、モデルは内部的に正しい構造を持っていても、デコード時に距離優先の表面的な近道を好む傾向が示されました。

- 数値的ハイライト：最も大きな行動・プローブ間のギャップは、Qwen3-0.6B Instructモデルの質問応答タスクで0.653（割合）という大きさで観察されました。このギャップはモデルを大きくしても（Qwen3-14B Instructでも）残存しており、単純にパラメータ数で解消するものではないことが示唆されます。

- 命令調整（instruction tuning）の影響：命令調整は、割合ベースでは出力の劣化（deploymentの低下）を符号化の劣化よりも大きくする傾向がありました。つまり、ファインチューニングが「使い方」に影響を与え、内部表現は残るがそれが出力に反映されにくくなるケースがあるようです。

- 追加の検証：研究チームは、選択肢の位置バイアス、後半層での消去、出力フォーマットのアーチファクト、プローブ学習のばらつきなどを排除するための検証を行っており、観察されたパターンはそれらの単純な説明では説明できないとしています。

- 層局在性（layer-localized）：活性パッチング（activation patching）による解析では、行動とプローブのギャップが特定の層に局在することが示唆されました。さらに命令調整の下では、LMヘッドがデコードに用いる層はプローブが回復する層より概ね10層ほど後方（より深い層）にシフトする傾向が見られました。

結論と注意点：この研究は、行動評価（モデルが実際どのように振る舞うか）だけではモデルが何を内部に持っているかを過小評価しがちであり、逆にプロービングだけではモデルが実際に出力でその情報を用いるかを過大評価してしまう可能性がある、という重要な警告を与えます。実務的な示唆としては、単一の評価方法に依存するのではなく、行動評価・ヘッド読出し・プローブ・層別解析を組み合わせて使うことで、モデルの「符号化」と「デコード（使用）」のどちらが問題なのかをより正確に見分けられる、ということです。