이 논문은 기존의 휴리스틱 양자화 패러다임을 버리고 모델 매개변수를 정수와 부동 소수점 부분으로 분리하여 전통적인 수학적 최적화 문제로 변환하는 decoupleQ 방법을 제안한다.
이를 통해 기존 방법들에 비해 극도로 낮은 2비트 양자화에서도 뛰어난 성능을 달성할 수 있다. 또한 이 아이디어는 지도 학습 미세 조정에도 쉽게 확장될 수 있다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Yi Guo,Fanli... alle arxiv.org 04-22-2024
https://arxiv.org/pdf/2404.12759.pdfDomande più approfondite