Core Concepts
GaLoreの手法にQuantizationを導入したQ-GaLoreにより、32 GB GPUでも7B規模のLLMのファインチューニングやプリトレーニングが可能になった。
Abstract
本記事では、LLMのトレーニングにおけるメモリ効率化手法「Q-GaLore」について説明している。
GaLoreは、勾配を低ランク部分空間に射影することでメモリ使用量を削減する手法であり、32 GB GPUでも7B規模のLLMのファインチューニングやプリトレーニングが可能になった。
Q-GaLoreは、GaLoreにQuantizationを導入したバリアントである。具体的には、勾配の射影をINT4データ型で行い、モデルの重みもINT8に量子化している。
これらの量子化により、16 GB GPUでも7B規模のLLMのファインチューニングやプリトレーニングが可能になった。
Stats
7B規模のLLMのファインチューニングやプリトレーニングが16 GB GPUで可能になった。
32 GB GPUでも24 GB GPUでも可能になった。
Quotes
「GaLoreは、勾配を低ランク部分空間に射影することでメモリ使用量を削減する手法である。」
「Q-GaLoreは、GaLoreにQuantizationを導入したバリアントである。」