본 논문은 저정밀 신경망의 효율성 향상을 위한 연구를 수행했다. 기존 연구에서는 곱셈-누산 연산에만 초점을 맞추었지만, 저자들의 분석 결과 비정량화된 요소별 연산(활성화 함수, 배치 정규화, 양자화 스케일링 등)이 추론 비용의 상당 부분을 차지하고 있음을 밝혔다.
이를 해결하기 위해 저자들은 ACEv2라는 새로운 효율성 지표를 제안했다. ACEv2는 기존 ACE 지표를 확장하여 모든 산술 연산을 고려한다. 이를 바탕으로 저자들은 PikeLPN이라는 새로운 저정밀 모델 아키텍처를 설계했다. PikeLPN은 요소별 연산과 곱셈-누산 연산 모두를 정량화하며, 특히 배치 정규화 층의 정량화를 위한 QuantNorm 기법, 양자화 파라미터의 정량화를 위한 Double Quantization, 그리고 분리 합성곱 층의 분포 불일치 문제를 해결하기 위한 Distribution-Heterogeneous Quantization 기법을 제안했다.
실험 결과, PikeLPN은 기존 최신 저정밀 모델 대비 최대 3배 향상된 효율성을 달성하면서도 ImageNet 데이터셋에서 더 높은 정확도를 보였다.
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Marina Nesee... ที่ arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00103.pdfสอบถามเพิ่มเติม