LoRA（低ランク適応）は設定したランクに対して実際の容量を十分に使えないことが多く、特に高ランク設定では有効ランクが著しく低くなることが報告されています。

この問題を解決するために、著者らはLoRAの更新に対して差分可能なSVDフリーレギュライザを加える手法を提案しました。具体的には、言語モデリング損失にRényi‑2有効ランクペナルティを追加し、学習中にアダプタの容量を最大化するよう促します。

混合ドメインでの継続学習ファインチューニング実験では、ペナルティ重み λ＝0.01 を設定すると、ランクが 16 以上の場合に Wiki の平均パープレキシティが標準 LoRA と比べて常に低下しました。さらに、トレーニング時のパープレキシティは同等かやや改善され、報告された有効ランクも上昇しました。

ただし、このレギュライザを有効に活用するにはタスクごとに λ を調整する必要があり、意図的にアンダーフィッティングや極端に狭い領域の保持を行う場合には効果が限定的です。さらに、本研究は LoRA 型アダプタに限定されており、他の PEFT ファミリへ拡張するには別の正則化スケジュールやパラメータ化が必要です。