핵심 개념
본 연구에서는 Layer-Batch Normalization (LBN), 가중치 표준화, 스케일된 반올림-클립 함수, 대리 기울기를 결합한 MaQD (Magic for the Age of Quantized DNNs) 방법을 제안한다. 이를 통해 최소한의 정확도 저하로 DNN 모델을 양자화할 수 있다.
초록
본 연구에서는 DNN 모델 압축을 위한 MaQD 방법을 제안한다.
Layer-Batch Normalization (LBN) 소개
미니배치 크기에 독립적이며 추론 시 계산 비용이 높지 않은 정규화 기법
기존 Batch Normalization (BN)과 Layer Normalization (LN)의 장점을 결합
MaQD 방법 제안
LBN, 가중치 표준화, 스케일된 반올림-클립 함수, 대리 기울기를 결합
최소한의 정확도 저하로 DNN 모델을 양자화할 수 있음
실험 결과
CIFAR-10, CIFAR-100 데이터셋과 VGG, PreActResNet 모델에 적용
가중치와 활성화 함수의 양자화 수준을 조절하여 정확도와 압축률 간 균형을 달성
특히 가중치 15비트, 활성화 함수 8비트로 양자화할 경우 1% 미만의 정확도 저하
본 연구는 DNN 모델의 효율적인 양자화를 통해 하드웨어 통합을 용이하게 하고, 메모리 및 계산 자원 요구사항을 줄일 수 있는 방법을 제안한다.
통계
DNN 모델의 가중치와 활성화 함수를 양자화하면 메모리 사용량을 크게 줄일 수 있다.
예를 들어, 가중치 15비트, 활성화 함수 8비트로 양자화할 경우 가중치 비율은 82.2%, 활성화 함수 비율은 33.99%로 감소한다.
인용구
"Any sufficiently advanced technology is indistinguishable from magic."
Arthur C. Clarke