BioBERT（1億8,800万パラメータ）とBioMistral（7億パラメータ）という2つの医療専門モデルを、12,477件の臨床試験を対象としたTOPベンチマークで評価しました。試験はClinicalTrials.govの10項目からテキスト化され、各フェーズに対して独立したテストセットで判定されました。

BioBERTは完全微調整を行い、BioMistralは低ランク適応（LoRA）を用いました。また、事前学習済みモデルを凍結し、埋め込みのみを用いて軽量分類器を学習させるプロービング手法も比較しました。全4バリアントは、ROC‑AUC（0.613〜0.772）とPR‑AUC（0.649〜0.901）でHINT（従来の多モーダルモデル）を上回り、PR‑AUCは10〜20％の相対向上を示しました。F1スコアの差は小さく、どの手法も「全試験を成功と予測する」という単純分類器を上回ることはありませんでした。

結果は、医療テキストに特化したエンジンが臨床試験のフェーズ別アウトカム予測でHINTを超える可能性を示唆していますが、差分の統計的有意性は示されていません。テストセットのサンプリング不確実性と従来ベースラインの再現性差が報告差分に影響している可能性があると指摘されています。

結論として、医療テキストに適応されたトランスフォーマーモデルは既存の多モーダルベースラインより高い性能を示すものの、統計的確証は限定的であるといえます。