이 논문에서는 OPTIN(One-shot Pruning Technique for Interchangeable Networks) 프레임워크를 소개한다. OPTIN은 사전 학습된 트랜스포머 모델을 재학습 없이 효율적으로 압축할 수 있는 기법이다.
OPTIN의 핵심 아이디어는 중간 특징 증류를 활용하여 모델 매개변수의 장기 의존성(trajectory)을 포착하는 것이다. 이를 통해 중요도가 낮은 매개변수를 선별적으로 제거할 수 있다.
OPTIN은 자연어 처리, 이미지 분류, 전이 학습, 의미 분할 등 다양한 태스크와 모델 아키텍처에 적용되었다. 실험 결과, OPTIN은 최대 40%의 FLOPs 감소에도 불구하고 기존 모델 대비 2% 이내의 정확도 저하만 보였다. 또한 기존 압축 기법 대비 우수한 성능을 보였다.
OPTIN은 재학습 없이도 다양한 도메인의 트랜스포머 모델을 효율적으로 압축할 수 있는 하나의 통합 프레임워크를 제공한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Samir Khaki,... at arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17921.pdfDeeper Inquiries