이 논문은 양자화 인식 학습(QAT)에서 양자화된 가중치의 변화 정도를 효과적으로 제어하기 위한 전이 비율 스케줄링 기법을 소개한다.
QAT는 학습 과정에서 양자화 과정을 시뮬레이션하여 가중치와 활성화 함수의 비트 정밀도를 낮춘다. QAT는 전체 정밀도 잠재 가중치를 업데이트하여 양자화된 가중치를 간접적으로 학습한다. 기존 연구는 주로 양자화기 설계와 기울기 소실 문제에 초점을 맞추었지만, 잠재 가중치 최적화 과정에 대해서는 간과해왔다.
저자들은 양자화된 가중치의 변화 정도가 잠재 가중치의 분포와 학습률에 모두 영향을 받는다는 점을 발견했다. 따라서 수동으로 설정한 학습률만으로는 양자화된 가중치의 변화 정도를 효과적으로 제어할 수 없다.
이에 저자들은 양자화된 가중치의 전이 비율(TR)을 명시적으로 제어하는 스케줄링 기법을 제안한다. TR은 양자화된 가중치 중 이산 수준이 변화한 가중치의 비율을 나타낸다. 저자들은 목표 TR을 스케줄링하고, 전이 적응형 학습률(TALR)을 사용하여 잠재 가중치를 업데이트한다. TALR은 현재 TR과 목표 TR의 차이를 고려하여 적응적으로 조정된다. 이를 통해 양자화된 가중치의 변화 정도를 효과적으로 제어할 수 있다.
실험 결과, 제안 기법은 다양한 네트워크 구조와 최적화기에서 일관되게 우수한 성능을 보였다. 특히 경량 모델이나 극단적으로 낮은 비트 양자화에서 큰 성능 향상을 달성했다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Junghyup lee... a las arxiv.org 05-01-2024
https://arxiv.org/pdf/2404.19248.pdfConsultas más profundas