すべての人に一次情報を
StrataFluxは、低ビット量子化のメモリ効率と速度利点を保持しつつ、重みとキー・バリューカッシュの精度損失を取り戻すフレームワークである。
このフレームワークは、ホストのRAMやSSDから追加精度を受け取ることで、低ビットモデルの推論精度を向上させる。
RTX 5090上で2‑bit Llama‑3.1‑8B‑Instructを用いた実験では、WikiText‑2のパープレキシティを9.46から8.40に改善し、基盤量子化モデルのスループットの95.4 %を維持した。さらに、同じ2‑bit重みとKVキャッシュを用いると、Qwen3‑8BのAIME 2024/2025精度を11.0 %から47.1 %へ向上させ、GPUメモリ使用量は変わらなかった。
StrataFluxの効果は、外部ストレージ―RAMまたはSSD―に格納された追加精度ビットの存在に依存する。外部メモリが利用できない場合、精度向上は期待できない。