Core Concepts
PCA 기반 투영을 통해 언어 모델의 은닉 차원을 효과적으로 압축하는 SP3 기법을 제안한다.
Abstract
이 논문은 언어 모델의 크기와 효율성을 줄이기 위한 구조적 가지치기 기법인 SP3를 소개한다. 기존의 가지치기 방법은 언어 모델의 은닉 차원 압축에 효과적이지 않았다. SP3는 주성분 분석(PCA)을 이용하여 특징을 새로운 공간으로 투영한 후 가지치기를 수행함으로써 주요 특징을 보존하면서 효과적으로 은닉 차원을 압축할 수 있다. 또한 각 층의 은닉 차원을 독립적으로 압축할 수 있도록 선형 변환을 추가하였다. 실험 결과, SP3는 BERT 모델을 94% 압축하면서도 96% 이상의 정확도를 유지할 수 있었다. 은닉 차원 압축에 초점을 맞춘 다른 방법들과 비교했을 때, SP3가 6% 더 높은 정확도를 보였다. SP3는 OPT와 Llama 모델에도 효과적으로 적용되었다.
Stats
BERT 모델을 94% 압축하면서도 96% 이상의 정확도를 유지할 수 있었다.
은닉 차원 압축에 초점을 맞춘 다른 방법들과 비교했을 때, SP3가 6% 더 높은 정확도를 보였다.
Quotes
"PCA 기반 투영을 통해 언어 모델의 은닉 차원을 효과적으로 압축할 수 있다."
"각 층의 은닉 차원을 독립적으로 압축할 수 있도록 선형 변환을 추가하였다."