arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

LLMが診断用Q‑マトリクスを作成、理由追跡で不確実性を示す | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
人工知能日本語公開済み

LLMが診断用Q‑マトリクスを作成、理由追跡で不確実性を示す

2026年11月22日arXiv: 2611.26422v1

研究者はReasoning‑Trace Analysis(RTA)というフレームワークを提案した。RTAは大型言語モデル(LLM)にチェーン・オブ・ソート(CoT)プロンプトを使って属性をラベル付けした推論ステップを出力させ、これらのステップを分析してQ‑マトリクスを再構築・比較・検査するものだ。これにより、AIが生成したマトリクスの各項目属性割り当ての根拠を可視化できる。

シミュレーション研究では、10個の分数減算項目にノイズを加えた際、DeepSeek v4 Flash、Claude Haiku 4.5、Kimi K2.6、GPT‑4o mini の4群のLLMが全項目の対象属性ベクトルを正確に回復した。前3モデルは1.00の完全重合 (Overlap) を達成し、GPT‑4o mini は0.80で一部属性を欠落した。これらはモデルが属性ラベルを正しく付与できることを示す。

実証研究では、536人の受験者による11項目の実データを用い、3つの温度設定と100回の再現で各LLMのQ‑マトリクスを生成した。直接生成したマトリクスは平均0.877の重合度で参考マトリクスと一致し、CoT経由のマトリクスは平均0.809とやや低かった。また、直接生成はCoTよりも安定性が高く、Dominant Q‑Matrix Proportion(安定性指標)が高かった。

CoTトレースを詳細に検査した結果、操作順序の差異は属性セット自体には影響しないが、トレース解析のばらつきを生じることがわかった。特にGPT‑4o miniは結合操作を誤ってラベル付けし、A3・A4属性を欠落させるケースがあった。

さらに、温度設定やモデル種族の違いがCoT経由で生成されるQ‑マトリクスに多様性をもたらすことが確認された。これはサンプリングの確率性とモデル設計が推論とラベル付けに感応していることを示す。

総じて、LLMは専門家の指示したQ‑マトリクスを近似できるが、推論トレースの検証が不可欠であることが示された。今後は属性ラベル付け規則の精緻化とRTAを専門家レビューと組み合わせた実用化が期待される。

元論文

Reasoning-Trace Analysis Using Large Language Models for Interpretable Q-Matrix Construction

人工知能
arXiv で見る