要旨 言語モデルが覚えているすべての事実が、後続の学習（微調整）で同じように役立つわけではない。LM（言語モデル）の内部表現において「線形に読み取れる」関係は、新しいラベル付けをして微調整したときに、未提示の事例へ一般化しやすい――この観察を、LMの「能動的（active）」な事実と「不活性（inert）」な事実という区別で示した研究が報告された（arXiv:2610.22300v1）。以下に手法と主な発見、限界と示唆を平易にまとめる。

実験の枠組み（平易な説明） 研究者はまず既存の関係（たとえば「都市→大陸」）を取り、各答え（Europe, Asia など）を任意の別語（たとえば動物名）にランダムに割り当てることで「新しい関係」を作る。たとえば Paris→Europe を Paris→crab に置き換える。モデルをこの新関係の一部の事例でだけ微調整（fine-tune）し、同じ元の答えを共有する未提示の被験対象（たとえば Munich）に新しいラベル（crab）を割り当てられるかを評価する。重要なのは、モデルは元の関係や再割り当ての規則を明示的には教えられない点で、成功は事前学習済みの内部表現を利用した統計的一般化を示す。

主要な測定値 - Recall（再現性）: 微調整前のモデルが元の関係をどれだけ正確に出力できるか。 - Pre-linearity（事前線形性）: 微調整前の表現から線形プローブ（次元削減＋ロジスティック分類）でどれだけ答えを読み取れるか。具体的には被験トークン表現を主成分で16次元に落として線形分類器を交差検証で評価する。 - Generalization（一般化）: 微調整後、未提示の被験対象に対する新関係の正答率（held-out accuracy）。

主な発見 - 11種類の公開モデル（パラメータ数 2B〜27B）と 70 の関係を用いた横断的実験で、Pre-linearity と Generalization の相関は各モデル内で Pearson の r = 0.87〜0.92（中央値 ≈ 0.90）と非常に高かった。つまり、事前に線形で読み取れる関係ほど、微調整後に未提示事例へラベルを一般化しやすい。 - この関連は単にモデルが事実を「思い出せる」こと（Recall）によって説明されるわけではない。Recall を統制しても Pre-linearity は依然として Generalization を強く予測した（部分相関 r ≈ 0.70〜0.82）。逆に Recall の予測力は Pre-linearity を統制すると弱まる。 - 結果は多くの頑健性チェックに耐えた。ラベル集合（動物以外の 13 種カテゴリでも同様）、答え—ラベルのランダムな再割り当てや微調整の初期化シードの変更、被験対象の出現頻度などを考慮しても同じ傾向が得られた。 - エラー解析では、微調整後に誤ったラベルが出た場合、その誤ラベルを元の答えに逆変換すると、線形プローブが元々上位に挙げていた答えに一致することが多かった。これは、微調整が内部の線形構造を利用して学習していることを示唆する。

解釈と示唆 - 「能動的な事実」とは、モデル表現中で線形に読み取れる構造を持ち、別の関係を学ぶ際の橋渡しとして機能する事実を指す。一方、「不活性な事実」はモデルが答えを生成できてもそのような線形構造を持たず、新しい関係の一般化にはあまり寄与しない。 - これは、知識編集や微調整による新知識注入の設計や評価に関する示唆を与える。単に事実をモデルに記憶させるだけでなく、その表現が下流の学習にどう利用可能か（線形で読み出せるか）を評価することが重要となる。

限界と注意点 - 対象は公開済みの中小規模〜大規模オープンウェイトモデルに限られ、アーキテクチャや訓練コーパスの多様性は限定される。 - 実験は「既存の関係をランダムラベルで再ラベルして学習させる」という特定の設定に基づく。実世界のより複雑な知識合成や推論（多段推論、言い換え、含意の扱いなど）へどの程度一般化するかは今後の課題である。 - Pre-linearity の定義は、被験表現の次元削減やプローブの形式（16次元PCA＋線形分類器）に依存する。別のプローブ手法や層選択戦略で結果が変わる可能性はある。