すべての人に一次情報を
NPCBenchは、鼻咽頭癌（NPC）の診断から治療までの全経路を問う新しいベンチマークです。
ベンチマークは、100件の患者経路と417のクリティカルタスク（組織診断、MRI T‑ステージ、ケア決定）から構成されています。
21の多模態モデルのうち、Claude‑4.6が最大23.0 %の「厳密CarePath」（診断・MRIステージ・治療がすべて正しい）成功率を記録しました。
| Model | Input interface | Inference |
|---|---|---|
| Medical-Specific LLMs | ||
| HuatuoGPT-o1-72B | Text | Local |
| HuatuoGPT-o1-7B | Text | Local |
| Baichuan-M2-32B | Text | Local |
| Fleming-R1-32B | ||
| Text |
| Local |
| Fleming-R1-7B | Text | Local |
| Medical-Specific MLLMs |
| HealthGPT-Pro-4B | Text and image | Local |
| HealthGPT-Pro-8B† | Text and image | Local |
| Hulu-Med-4B | Text and image | Local |
| Hulu-Med-7B | Text and image | Local |
| Hulu-Med-32B | Text and image | Local |
| Lingshu-7B | Text and image | Local |
| Lingshu-32B | Text and image | Local |
| Open-Source LLMs |
| Qwen3-30B-A3B | Text | Local |
| GPT-OSS-20B | Text | Local |
| GPT-OSS-120B | Text | Local |
| DeepSeek-V3.1 | Text | API |
| Open-Source MLLMs |
| Qwen3-VL-8B-Instruct† | Text and image | Local |
| Qwen3-VL-30B-A3B-Instruct† | Text and image | Local |
| Qwen3.5-9B | Text and image | Local |
| Qwen3.5-27B† | Text and image | Local |
| Qwen3.5-35B-A3B | Text and image | Local |
| Qwen3.6-27B | Text and image | Local |
| Qwen3.6-35B-A3B | Text and image | Local |
| InternVL3.5-38B | Text and image | Local |
| Proprietary (M)LLMs |
| GPT-5.1 | Text and image | API |
| GPT-4.1 | Text and image | API |
| Gemini-3.1-Pro-Preview | Text and image | API |
| Gemini-2.5-Pro | Text and image | API |
| Gemini-2.5-Flash | Text and image | API |
| Claude-Sonnet-4.6 | Text and image | API |
Gemini‑3.1‑Pro‑Previewは、厳密CarePathでは11.0 %に留まりますが、個別タスクの「Care精度」は89.9 %と高いです。
長期的な再評価（L5）では、Gemini‑3.1‑Pro‑Previewが1回の判断で87.9 %、患者単位で71.0 %の完全成功率を示しました。Claude‑4.6は、85.2 %（1回）と63.0 %（患者全体）を記録しました。
| Model | Turn | Patient macro | All-turn success |
|---|---|---|---|
| API models | |||
| DeepSeek-V3.1 | 74.4 | 74.2 | 42.0 |
| GPT-5.1 | 75.7 | 73.7 | 45.0 |
| GPT-4.1 | 78.7 | 77.5 | 45.0 |
| Gemini-3.1-Pro-Preview | 87.9 | 88.6 | 71.0 |
| Gemini-2.5-Pro | 82.0 | 81.6 | 56.0 |
| Gemini-2.5-Flash | 69.5 | 71.7 | 42.0 |
| Claude-Sonnet-4.6 | 85.2 | 85.6 | 63.0 |
| Local models | |||
| HuatuoGPT-o1-72B | 63.9 | 62.1 | 26.0 |
| HuatuoGPT-o1-7B | 55.1 | 53.4 | 20.0 |
| Baichuan-M2-32B | 66.2 | 65.5 | 31.0 |
| Fleming-R1-32B | 75.7 | 74.1 | 40.0 |
| Fleming-R1-7B | 59.3 | 59.3 | 23.0 |
| HealthGPT-Pro-4B | 26.2 | 24.9 | 4.0 |
| HealthGPT-Pro-8B | 38.7 | 37.3 | 9.0 |
| Hulu-Med-4B | 59.3 | 59.1 | 26.0 |
| Hulu-Med-7B | 47.2 | 47.1 | 16.0 |
| Hulu-Med-32B | 70.2 | 70.4 | 37.0 |
| Lingshu-7B | 49.2 | 49.4 | 14.0 |
| Lingshu-32B | 70.5 | 70.1 | 37.0 |
| Qwen3-30B-A3B | 63.3 | 63.5 | 27.0 |
| GPT-OSS-20B | 48.9 | 48.0 | 13.0 |
| GPT-OSS-120B | 60.3 | 58.0 | 23.0 |
| Qwen3-VL-8B-Instruct | 69.8 | 70.0 | 38.0 |
| Qwen3-VL-30B-A3B-Instruct | 68.5 | 67.6 | 36.0 |
| Qwen3.5-9B | 60.7 | 60.7 | 24.0 |
| Qwen3.5-27B | 76.4 | 74.5 | 46.0 |
| Qwen3.5-35B-A3B | 72.8 | 72.9 | 41.0 |
| Qwen3.6-27B | 79.7 | 79.6 | 53.0 |
| Qwen3.6-35B-A3B | 76.1 | 74.6 | 49.0 |
| InternVL3.5-38B | 58.4 | 58.4 | 21.0 |
NPCBenchは、各タスクで利用可能な情報のみを許可し、将来の情報漏洩を防いでいます。
今後は、多施設・前向きデータ収集が必要です。