QLoRA는 메모리 사용을 줄이면서도 성능을 유지하기 위해 다음과 같은 혁신을 도입했습니다: (a) 정규 분포 가중치에 정보 이론적으로 최적인 새로운 데이터 유형인 4비트 NormalFloat (NF4), (b) 양자화 상수를 양자화하여 평균 메모리 사용량을 줄이는 이중 양자화, (c) 메모리 급증을 관리하기 위한 페이지 최적화기.
