16 GB GPUを使って、スクラッチからLLMをトレーニングする方法「Q-GaLore」

GaLoreの手法にQuantizationを導入したQ-GaLoreにより、32 GB GPUでも7B規模のLLMのファインチューニングやプリトレーニングが可能になった。