arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

LLMは名詞除去でMNLIの性能を70–72%維持するが、ANLIでは14–29%に急減 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
自然言語処理日本語公開済み

LLMは名詞除去でMNLIの性能を70–72%維持するが、ANLIでは14–29%に急減

2026年11月14日arXiv: 2611.16843v1

研究者らは大量言語モデル(LLM)と微調整エンコーダーを、入力から名詞を削除した状態で評価した。結果、オープンウェイトLLMはMNLI(大規模自然言語推論)で名詞削除後も70–72 %の性能を保持した。一方、同じ条件でANLI(最新自然言語推論ベンチマーク)の性能は14–29 %にしか残らなかった。微調整エンコーダーはMNLIで72 %、ANLIで24 %の保持率を示し、結果は同様のパターンを示した。

評価手法として、単語クラスアブレーション(drop‑NOUN・drop‑VERB)や単語順乱序(shuffle‑n1〜n3)を用いた。名詞だけを除去したdrop‑NOUN条件が、性能維持の差を顕著に示している。表 1は、各モデルのクリーン精度と名詞削除時の相対保持率をまとめ、MNLIとANLIでの比率差を数値的に裏付けた。

表 1に示された数値。MNLIの名詞削除時にオープンウェイトLLMが70–72 %を維持し、ANLIでは14–29 %。微調整エンコーダーはMNLIで72 %、ANLIで24 %。
MNLIRTEANLI (R1–R3 average)
SystemCleanR nounR verbCleanR nounR verbCleanR noun
R verb
RoBERTa (fine-tuned)‡87.8728170.8198556.12466
Qwen3.8-27B88.9637491.3407375.22960
OLMo 3 32B89.3707990.6307661.61949
OLMo 3 7B88.8687687.0406651.41450
Muse Glimmer 30B67.2476680.9297655.62556
GPT-4o81.5567180.1487571.42664
DeepSeek-V4-Pro74.2496488.5377357.72558
Mistral Large 3†80.7365085.6176363.62347
Grok 4.7 (reasoning)†§71.8436088.8348777.93868
Table 1. 表 1はオープンウェイトLLMが名詞削除(drop‑NOUN)条件下でMNLIで70–72 %の上位性能を維持し、ANLIで14–29 %に低下することを示す。対照として、微調整エンコーダーはMNLIで72 %、ANLIで24 %を保持する。Talman, Aarne, Chatzikyriakidis, Stergios · arXiv:2611.16843v1 · Table 1: · CC BY 4.0

この結果は、LLMがMNLIにおける名詞情報に対してはある程度頑健であるが、ANLIでは名詞が重要な手掛かりになっていることを示唆している。両ベンチマークの違いは、データセット固有のショートカットに起因する可能性が高く、モデルの真の言語理解能力とは必ずしも一致しない。

元論文

Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models

自然言語処理
arXiv で見る