arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
人工知能日本語公開済み

GateWatch:Gemma‑2‑9Bタスクで高精度を保つ極小で解釈可能なプローブ

2026年11月20日arXiv: 2611.24619v1

大型言語モデルの監視が求められる中、GateWatchは五門のみで機能するプローブであり、判定規則をバイナリ化されたSparse AutoEncoder(SAE)特徴に対する明示的なBoolean論理として表現します。

改良された構築法としてCompile、Search、Trainの3手法を採用し、設定したゲート数の制約の下で論理回路を構築します。Compileは学習済みの分類器を丸ごと論理化し、Searchは多様なルール構造を探索、Trainは微分可能ゲートで学習します。

Gemma‑2‑9B上での24タスクを対象にした実験では、五門構成のGateWatchプローブが平均80.49%のテスト精度を達成し、16K特徴を用いるフルサイズプローブ(81.66%)とわずか1.17点の差にとどまります。平均で3.8個のSAE特徴と3.5個の論理ゲートを使用し、メモリは26.3 KiBに抑えられます。これはフルサイズプローブに比べ4,380倍小さく、99.98 %のメモリ削減を実現しています。

GateWatchの性能向上は事前学習済みSAEに依存しており、特徴選択の欠如や特徴の意味不明確さ、選択された特徴のエンコーダ行列を保持する必要性が解釈性とデプロイサイズに影響を与える可能性があります。

総じて、GateWatchは極小サイズで高い解釈性を保持しつつ、従来の大規模プローブに匹敵する性能を提供する実用的なトレードオフを提示します。

元論文

GateWatch: Low-Overhead LLM Monitoring with Boolean Circuits

人工知能機械学習
arXiv で見る
GateWatch:Gemma‑2‑9Bタスクで高精度を保つ極小で解釈可能なプローブ | arXiv News