フロンティア言語モデル（LLM）は、既知化合物から得られるMS/MSスペクトルを用いて構造を特定する際、トップ1の正解率が52 %に達しました。この高い性能は、モデルが訓練データに存在する化合物を暗記していることを示唆しています。対照的に、データベースに存在しない未確認化合物（アウト・オブ・ディストリビューション：OOB）では、ツールを使用しない限り正解率はわずか2 %にしか上がりません。

ベンチマークには合計100個のMS/MSスペクトルが使用され、50個ずつを既知化合物と未確認化合物に分けました。各サンプルはアデクト、装置、前駆体m/z、ピーク数といった条件でマッチングされ、比較の公正さを担保しています。これにより、モデルの性能を同条件下で直接比較できました。

ツールを組み合わせたアプローチでは、特にデノボ構造生成器へのアクセスが効果的です。生成器を併用すると、未確認化合物に対するトップ1精度が12 %から38 %に跳躍します。最も高い成果は、LSM‑Genを使用した場合で38 %に達しました。また、既知化合物に対しても、生成器を併用すると62 %〜86 %と62 %〜86 %に上昇されることがわかります。

ただし、生成器が提案する候補セットに真の構造が含まれていない場合、LLMはそれを重み付けしてもトップに位置づけることはできません。そのため、未確認化合物に対する最終的な成功率は、生成器自体のカバー率によって限定されることが明らかになりました。LLMは候補を再ランキングする能力が高いものの、候補自体を生成する機能がボトルネックとなっています。

以上から、フロンティアLLM自体の推論力は小さく、実際の構造推定には高性能なデノボ生成ツールが不可欠であることが示唆されます。