이 논문은 기존의 휴리스틱 양자화 패러다임을 버리고 모델 매개변수를 정수와 부동 소수점 부분으로 분리하여 전통적인 수학적 최적화 문제로 변환하는 decoupleQ 방법을 제안한다.
이를 통해 기존 방법들에 비해 극도로 낮은 2비트 양자화에서도 뛰어난 성능을 달성할 수 있다. 또한 이 아이디어는 지도 학습 미세 조정에도 쉽게 확장될 수 있다.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Yi Guo,Fanli... klo arxiv.org 04-22-2024
https://arxiv.org/pdf/2404.12759.pdfSyvällisempiä Kysymyksiä