Rimuruは、最新のLLM（大規模言語モデル）サーバーで「エキスパートオフロード」という手法によりメモリを統合管理し、メモリ再利用を実現するシステムです。

従来のサーバーはモデル重み、注意状態、エキスパートキャッシュを別々のメモリ領域に割り当てていました。これにより、ある時点で不要になるエキスパートのメモリが解放されません。Rimuruは共有ページプールを設け、各テンソルタイプが自らのページサイズでこのプールを解釈できるようにします。ページはワークロードの変動に合わせて分割・統合され、1つのページを複数タイプで共有できるようにしました。

さらに、Rimuruは「ページテーブルを意識したフェーズ付きMoEカーネル」を備えており、非連続のエキスパート重みを直接読み取ることでコピーオーバーヘッドを排除します。ワークロードに応じてページを動的に再割り当てするアジャスターも併設し、実行時の需要に合わせてメモリをリソース効率的に分配します。

実験では、vLLM上に構築したRimuruを既存のLLMサーバーと比較しました。同一ハードウェア・同一モデル設定で測定した結果、Rimuruはベースラインに対し最大19.03倍のスループットを実現し、最初のトークン発行までの時間（TTFT）は平均で98.1％短縮しました。これらの向上はコピー回数削減と高メモリ使用テンソルのオフロードタイミングに起因します。

Rimuruは、メモリ再利用とレイテンシ低減を示す実験的成果を報告していますが、臨床応用や商業展開の準備は行っていません。調査は、測定条件下でのスループットとTTFTに限定されます。