研究者らは大量言語モデル(LLM)と微調整エンコーダーを、入力から名詞を削除した状態で評価した。結果、オープンウェイトLLMはMNLI(大規模自然言語推論)で名詞削除後も70–72 %の性能を保持した。一方、同じ条件でANLI(最新自然言語推論ベンチマーク)の性能は14–29 %にしか残らなかった。微調整エンコーダーはMNLIで72 %、ANLIで24 %の保持率を示し、結果は同様のパターンを示した。
評価手法として、単語クラスアブレーション(drop‑NOUN・drop‑VERB)や単語順乱序(shuffle‑n1〜n3)を用いた。名詞だけを除去したdrop‑NOUN条件が、性能維持の差を顕著に示している。表 1は、各モデルのクリーン精度と名詞削除時の相対保持率をまとめ、MNLIとANLIでの比率差を数値的に裏付けた。
表 1に示された数値。MNLIの名詞削除時にオープンウェイトLLMが70–72 %を維持し、ANLIでは14–29 %。微調整エンコーダーはMNLIで72 %、ANLIで24 %。 | MNLI | RTE | ANLI (R1–R3 average) |
| System | Clean | R noun | R verb | Clean | R noun | R verb | Clean | R noun |