Core Concepts
다양한 비대칭 양자화 범위 매개변수화 방식을 비교 분석하고, 양자화 인식 학습을 안정화하고 가속화하기 위한 최선의 실행 방안을 제안한다.
Abstract
이 논문은 양자화 인식 학습(QAT)을 위한 비대칭 균일 양자화의 세 가지 다른 매개변수화 방식을 조사한다: (1) 스케일과 오프셋, (2) 최소값과 최대값, (3) 베타와 감마. 이들 매개변수화 방식이 양자화 인식 학습에 미치는 영향을 체계적으로 비교 분석한다. 특히 비트 폭과 학습률과 같은 중요한 하이퍼파라미터에 대한 변화 행동에 초점을 맞춘다. 이 조사를 바탕으로 학습 가능한 비대칭 양자화 범위를 사용하여 양자화 인식 학습을 안정화하고 가속화하기 위한 최선의 실행 방안을 제안한다.
Stats
양자화 범위 매개변수 s와 z는 서로 다른 공간에 존재하므로 적절한 학습률 할당이 필요하다.
최소값 θmin과 최대값 θmax를 직접 학습하는 min/max 방식은 비트 폭과 학습률에 대한 민감도가 낮다.
beta/gamma 방식은 θmin과 θmax의 절대값을 활용하여 매개변수 업데이트 속도를 높일 수 있다.
Quotes
"양자화 범위 학습 QAT는 수많은 요소를 반올림하는 과정을 조절하므로 본질적으로 불안정하다."
"다양한 매개변수화 방식이 QAT 과정에서 서로 다르게 행동할 수 있다는 점이 실험적으로 입증되었다."
"min/max 방식은 비트 폭과 학습률에 대한 민감도가 낮고 두 양자화 인코딩을 독립적으로 제어할 수 있다는 장점이 있다."