
확률적 잠재 공간을 활용한 신경망 압축의 이론적 설명


coremsg

신뢰할-수-있는-심층-신경망-압축-설명을-통한-확률적-잠재-공간으로


신뢰할 수 있는 심층 신경망 압축 설명을 통한 확률적 잠재 공간으로



본 연구에서는 신경망의 변분 매개변수를 지수적으로 적은 매개변수를 가진 자동 미분 가능한 텐서 네트워크(ADTN)로 인코딩하여 크게 압축하는 일반적인 압축 방법을 제안합니다.



신경망 압축을 위한 지수적으로 적은 변분 매개변수를 가진 텐서 네트워크



선형 레이어 구성을 통해 저순위 특성을 유도하고 특이값 절단을 통해 압축하는 새로운 접근법을 제안한다. 이를 통해 사전 학습된 모델을 필요로 하지 않고도 효과적인 압축이 가능하다.



저비용 고효율 신경망 압축을 위한 선형 레이어 구성을 통한 저순위 유도 학습
