Aggronは、対話が進むたびに増大するLLMエージェントのKVキャッシュを、別のキューから頻繁に要約することで抑制します。これにより、従来の非同期サマリよりも高負荷時にP99レイテンシを27〜31%短縮し、スループットを1.34〜1.40倍に増加させました。実験では、ベンチマークハードウェアと条件を厳密に維持し、100%の利用率で実現したことが報告されています。
Aggronは、キューの先頭が停止している間に余剰計算リソースを利用し、サマリ作業を並行して行います。サマリは、必要と予測される時のみ実行されるため、正確性を保ちつつ重い計算を最小化します。この戦略は、対話が長期化するエージェントに対して実効的にメモリ消費を抑え続けることを可能にします。
しかしながら、キュー長が短い場合には、サマリ処理を隠せず、スループットは0.2〜3.8%減少、P99レイテンシは1.3〜47%増加します。この状況は、Table 3に示されるように、負荷λ=0.2 req/s時に83 %の時点でヘッドキューがブロックされるケースで観測され、サマリで約2.4 Kトークンを解放できると約46 %のブロック時間を解消できることが示されます。
4 KB のプローズ上限下でのキュー統計。各 λ(req/s)に対し、ヘッドブロック時間、タイル圧縮で解放される割合、追加で受け入れられたリクエストの割合を示す表。| λ (req/s) | Head blocked | Compressed tail admits | ≥1 admitted |
|---|
| (% of run) | (% of blocked) | (% of blocked) |
|---|
| 0.05 | 8.7% |
|---|