最新の評価で、GPT‑6 Astra などの汎用大規模言語モデルが、ChemBERTa や MoLFormer などの化学専用モデルよりも、化学特性予測タスクで高い精度を示した。

実験では、汎用モデルに 60 件のラベル付き分子例を提示し、40 件の未知分子に対して推論させた。一方、化学モデルは 60 〜 10,000 件のラベル付きデータで微調整された。5 つの回帰ベンチマーク（U₀、ε LUMO、FreeSolv、ESOL、Lipophilicity）と BACE 活性分類で測定した。

GPT‑6 Astra は、U₀ で R² = 0.99、ε LUMO で 0.85、FreeSolv で 0.97、ESOL で 0.88、Lipophilicity で 0.73 を達成し、化学モデルの最高値を上回った。BACE クラス分類では 0.47 点で ChemBERTa の 0.70 を下回ったが、1,000 点の学習データを与えると化学モデルがほぼ同等の性能に追いついた。

しかし、ラベルをシャッフルした負対照実験では、GPT‑6 Astra や Claude Opus 5.5 が高精度を維持した。これは、実質的に化学ルールを学習するよりも、分布パターンを記憶している可能性を示唆する。また、特定タスクに対して回答を拒否する動作も観測された。

これらの結果は、汎用AIモデルを化学予測の出発点として有効に活用できることを示す一方で、真の一般化が保証されているわけではないという慎重さが必要であることを示した。