効率的な量子化LLMのファインチューニング: QLoRA

QLoRAは、パフォーマンスを犠牲にすることなく、メモリを節約するための革新的な手法を導入している。具体的には、(a) 正規分布の重みに最適な新しいデータ型「4ビットNormalFloat (NF4)」、(b) 量子化定数の量子化による平均メモリフットプリントの削減、(c) メモリスパイクを管理するためのページ化オプティマイザなどが含まれる。