
제안된 방법은 교사 모델의 내부 구조와 매개변수에 대한 정보 없이도 학생 모델을 효과적으로 증류할 수 있다. 이를 위해 생성 모델을 사용하여 교사 모델의 역 매핑을 에뮬레이션하고, 고차원 이미지 공간에서의 거리 최소화를 통해 저차원 로짓을 정렬한다.


coremsg

검은-상자-지식-증류를-위한-원리적인-로짓-정렬-생성


검은 상자 지식 증류를 위한 원리적인 로짓 정렬 생성


title_rewrite


본 연구에서는 Layer-Batch Normalization (LBN), 가중치 표준화, 스케일된 반올림-클립 함수, 대리 기울기를 결합한 MaQD (Magic for the Age of Quantized DNNs) 방법을 제안한다. 이를 통해 최소한의 정확도 저하로 DNN 모델을 양자화할 수 있다.


검은 상자 지식 증류를 위한 원리적인 로짓 정렬 생성

양자화된 DNN 시대의 마법