すべての人に一次情報を
Strategistは、推論戦略を自律的に生成・改善するメタエージェントである。エージェントは「Blueprint」―再利用可能な実行コードを図書館に蓄積し、次のタスクでは類似Blueprintを検索し、5つの候補戦略を作成、実例で評価し、成功したものを図書館へ戻す。これを段階的に繰り返す四段階パイプライン(Retrieve→Propose→Evaluate→Accumulate)が図に示された。

30のベンチマーク(読解、数理、プログラミング、常識)で、Strategistは24のタスクでベースラインを上回り、平均精度は74.7%(ベースライン74.0%)とほぼ同等であるが、加重推論コストを39%削減した。精度とコストのバランスが失われるタスクもある。HotpotQAとCOPAでは精度は同等だがコストがそれぞれ9%、6%増加。MedQAとAIME 2024ではコストを減らすために5〜7%精度を犠牲にした。平均コスト削減率は39%である。
| Benchmark | Ours Acc | BL Acc | ΔAcc | Ours Cost (k) | BL Cost (k) | ΔCost | Result |
|---|---|---|---|---|---|---|---|
| SQuAD v2 | 79.1 | 73.2 | ↑8.0% | 5.6 | 25.0 | ↓77.4% | Win |
| TruthfulQA | 69.0 | 64.5 | ↑7.0% | 5.8 | 7.5 | ↓21.9% | Win |
| 2WikiMQA | 76.5 | 72.5 | ↑5.5% | 33.8 | 98.6 | ↓65.7% | Win |
| Amazon-Rec | 28.0 | 24.0 | ↑16.7% | 45.6 | 70.3 | ↓35.1% | Win |
| SAT-Math | 98.2 | 94.5 | ↑3.8% | 4.9 | 12.1 | ↓59.4% | Win |
| LSAT-AR | 81.0 | 77.6 | ↑4.4% | 54.9 | 82.0 | ↓33.0% | Win |
| LSAT-RC | 81.5 | 78.5 | ↑3.8% | 12.4 | 24.8 | ↓49.9% | Win |
| NQ-Open | 19.0 | 17.0 | ↑11.8% | 19.1 | 34.4 | ↓44.5% | Win |
| LSAT-LR | 82.0 | 80.5 | ↑1.9% | 65.2 | 98.1 | ↓33.5% | Win |
| Gaokao-Math | 94.5 | 93.5 | ↑1.1% | 89.7 | 111.3 | ↓19.4% | Win |
| MuSiQue | 42.0 | 41.0 | ↑2.4% | 67.6 | 73.0 | ↓7.4% | Win |
| MMLU-STEM-Hard | 88.0 | 87.0 | ↑1.1% | 11.9 | 35.2 | ↓66.2% | Win |
| MMLU | 79.5 | 78.5 | ↑1.3% | 10.2 | 96.3 | ↓89.4% | Win |
| AQuA-RAT | 87.0 | 86.5 | ↑0.6% | 17.5 | 19.4 | ↓9.6% | Win |
| StrategyQA | 70.0 | 69.5 | ↑0.7% | 3.0 | 3.7 | ↓19.6% | Win |
| WinoGrande | 77.5 | 77.5 | 0.0% | 4.9 | 5.6 | ↓11.8% | Win |
| ANLI-R3 | 69.5 | 69.5 | 0.0% | 4.6 | 9.6 | ↓51.7% | Win |
| SVAMP | 93.0 | 93.5 | ↓0.5% | 1.8 | 2.0 | ↓9.3% | Win |
| SciQ | 97.5 | 98.0 | ↓0.5% | 1.2 | 3.7 | ↓69.1% | Win |
| HellaSwag | 70.5 | 71.0 | ↓0.7% | 9.0 | 22.9 | ↓60.9% | Win |
| BBH | 85.0 | 86.0 | ↓1.2% | 23.3 | 42.5 | ↓45.2% | Win |
| CommonsenseQA | 76.5 | 77.5 | ↓1.3% | 5.8 | 14.8 | ↓60.8% | Win |
| GSM8K | 92.0 | 94.0 | ↓2.1% | 8.3 | 62.8 | ↓86.8% | Win |
| ASDiv | 93.0 | 95.0 | ↓2.1% | 6.9 | 36.6 | ↓81.1% | Win |
| MBPP+ | 80.5 | 79.0 | ↑1.9% | 108.5 | 109.0 | ↓0.4% | Tie |
| MinervaM | 38.5 | 39.0 | ↓1.3% | 28.2 | 28.7 | ↓1.5% | Tie |
| MedQA | 68.5 | 72.5 | ↓5.5% | 12.6 | 28.5 | ↓55.8% | Mixed |
| AIME 2024 | 60.0 | 65.0 | ↓7.7% | 287.6 | 372.5 | ↓22.8% | Mixed |
| HotpotQA | 64.5 | 64.0 | ↑0.8% | 34.7 | 31.9 | ↑9.0% | Lose |
| COPA | 100.0 | 100.0 | 0.0% | 2.4 | 2.3 | ↑6.1% | Lose |
Strategistが生成した戦略は、未確認タスクや別モデルでも再検索なしに移転できることが示されており、推論戦略という従来は人手で作成されていた部分をエージェント自体が学習できる点が注目される。