이 논문은 기존의 휴리스틱 양자화 패러다임을 버리고 모델 매개변수를 정수와 부동 소수점 부분으로 분리하여 전통적인 수학적 최적화 문제로 변환하는 decoupleQ 방법을 제안한다.
이를 통해 기존 방법들에 비해 극도로 낮은 2비트 양자화에서도 뛰어난 성능을 달성할 수 있다. 또한 이 아이디어는 지도 학습 미세 조정에도 쉽게 확장될 수 있다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yi Guo,Fanli... at arxiv.org 04-22-2024
https://arxiv.org/pdf/2404.12759.pdfDeeper Inquiries