arXiv News

すべての人に一次情報を

サイト

Aboutプライバシーポリシー利用規約

© 2026 arXiv News

arXiv News

英語日本語

言語を切り替え

英語日本語
アカウントを読み込み中…

すべての人に一次情報を

トップページに戻る
機械学習日本語公開済み

StrataFluxで低ビット言語モデルの精度と高速推論を両立

2026年11月9日arXiv: 2611.08363v1

StrataFluxは、低ビット量子化のメモリ効率と速度利点を保持しつつ、重みとキー・バリューカッシュの精度損失を取り戻すフレームワークである。

このフレームワークは、ホストのRAMやSSDから追加精度を受け取ることで、低ビットモデルの推論精度を向上させる。

RTX 5090上で2‑bit Llama‑3.1‑8B‑Instructを用いた実験では、WikiText‑2のパープレキシティを9.46から8.40に改善し、基盤量子化モデルのスループットの95.4 %を維持した。さらに、同じ2‑bit重みとKVキャッシュを用いると、Qwen3‑8BのAIME 2024/2025精度を11.0 %から47.1 %へ向上させ、GPUメモリ使用量は変わらなかった。

StrataFluxの効果は、外部ストレージ―RAMまたはSSD―に格納された追加精度ビットの存在に依存する。外部メモリが利用できない場合、精度向上は期待できない。

元論文

StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference

機械学習cs.DC
arXiv で見る
StrataFluxで低ビット言語モデルの精度と高速推論を両立 | arXiv News