arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

Aggron、AIエージェントのメモリを抑えながらレイテンシを短縮しスループットを向上 | arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
cs.DC日本語公開済み

Aggron、AIエージェントのメモリを抑えながらレイテンシを短縮しスループットを向上

2026年11月21日arXiv: 2611.26435v1

Aggronは、対話が進むたびに増大するLLMエージェントのKVキャッシュを、別のキューから頻繁に要約することで抑制します。これにより、従来の非同期サマリよりも高負荷時にP99レイテンシを27〜31%短縮し、スループットを1.34〜1.40倍に増加させました。実験では、ベンチマークハードウェアと条件を厳密に維持し、100%の利用率で実現したことが報告されています。

Aggronは、キューの先頭が停止している間に余剰計算リソースを利用し、サマリ作業を並行して行います。サマリは、必要と予測される時のみ実行されるため、正確性を保ちつつ重い計算を最小化します。この戦略は、対話が長期化するエージェントに対して実効的にメモリ消費を抑え続けることを可能にします。

しかしながら、キュー長が短い場合には、サマリ処理を隠せず、スループットは0.2〜3.8%減少、P99レイテンシは1.3〜47%増加します。この状況は、Table 3に示されるように、負荷λ=0.2 req/s時に83 %の時点でヘッドキューがブロックされるケースで観測され、サマリで約2.4 Kトークンを解放できると約46 %のブロック時間を解消できることが示されます。

4 KB のプローズ上限下でのキュー統計。各 λ(req/s)に対し、ヘッドブロック時間、タイル圧縮で解放される割合、追加で受け入れられたリクエストの割合を示す表。
λ (req/s)Head blockedCompressed tail admits≥1 admitted
(% of run)(% of blocked)(% of blocked)
0.058.7%
4.8%
12.8%
0.174.8%4.5%44.0%
0.283.0%4.9%46.0%
0.588.7%5.0%46.5%
186.2%5.0%46.2%
Table 3. Queue statistics under the 4 KB prose cap, showing head‑blocked time, compression‑admitted proportion, and admitted requests percentage for λ = 0.05–1 req/s.Ravi, Rishabh, Hong, Tony, Wang, Chen, Zhu, Yue, Ye, Mengmei, Franke, Hubertus et al. · arXiv:2611.26435v1 · Table 3. · CC BY 4.0

以上の結果から、Aggronは高負荷環境でのエージェント稼働をスムーズにし、サービス全体の性能を向上させる実用的手法であることが示されます。しかし、低負荷時にはわずかな損失が生じるという制約もあるため、運用時には負荷プロファイルを考慮するだけで十分。

元論文

Aggron: Aggressive Compression of Agentic KV Caches during Head-of-Line Stalls in the Request Queue

cs.DCcs.AR
arXiv で見る