Alapfogalmak
매개변수를 정수와 부동 소수점 부분으로 분리하여 전통적인 수학적 최적화 문제로 변환함으로써 극도로 낮은 비트에서도 모델 정확도를 크게 향상시킬 수 있다.
Kivonat
이 논문은 기존의 휴리스틱 양자화 패러다임을 버리고 모델 매개변수를 정수와 부동 소수점 부분으로 분리하여 전통적인 수학적 최적화 문제로 변환하는 decoupleQ 방법을 제안한다.
- 층 단위 최소화: 정수 부분과 부동 소수점 부분을 번갈아 최적화하여 층 단위 ℓ2 손실을 최소화한다.
- 블록 단위 최소화: 정수 부분을 고정한 채 부동 소수점 부분과 정규화 층 매개변수를 미세 조정하여 블록 단위 ℓ2 손실을 추가로 최소화한다.
이를 통해 기존 방법들에 비해 극도로 낮은 2비트 양자화에서도 뛰어난 성능을 달성할 수 있다. 또한 이 아이디어는 지도 학습 미세 조정에도 쉽게 확장될 수 있다.
Statisztikák
입력 X는 배치 크기 batch x 입력 차원 din이다.
원래 가중치 W0는 입력 차원 din x 출력 차원 dout이다.
정수 부분 c_W와 부동 소수점 부분 (s, z)를 통해 양자화된 가중치 f_W = c_W * s + z를 계산한다.
Idézetek
"기존 양자화 방식의 한계를 극복하고자 매개변수를 정수와 부동 소수점 부분으로 분리하여 전통적인 수학적 최적화 문제로 변환했다."
"이를 통해 극도로 낮은 2비트 양자화에서도 뛰어난 성능을 달성할 수 있었다."