GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection

提案されたGaLoreは、大規模言語モデルの効率的なトレーニングを可能にし、メモリ使用量を最大65.5%削減しつつ、効率とパフォーマンスを維持します。