Concepts de base
사전 훈련된 인코더 기반 언어 모델을 재학습 없이 정확하게 압축하는 방법
Résumé
이 논문은 사전 훈련된 인코더 기반 언어 모델을 재학습 없이 정확하게 압축하는 K-prune 알고리즘을 제안한다.
K-prune은 다음 3단계로 구성된다:
- 지식 측정: 주요 주의 집중 헤드와 뉴런을 식별하기 위해 예측 및 표현 지식을 측정한다.
- 지식 보존 마스크 탐색: 목표 레이어의 마스크 유닛들의 전역적 중요도를 고려하여 제거할 마스크 유닛을 선택한다.
- 지식 보존 가중치 조정: 선택된 마스크 유닛만 제거하고 작은 샘플 데이터셋에서 효율적인 가중치 조정을 통해 모델의 지식을 복구한다.
K-prune은 기존 재학습 없는 압축 알고리즘에 비해 최대 58.02%p 더 높은 F1 점수를 달성하며, 재학습 기반 알고리즘과 비교해서도 뛰어난 정확도-비용 트레이드오프를 보인다.
Stats
사전 훈련된 모델 T의 입력 X와 출력 ˆzT (x; 1|m|)의 KL 발산을 통해 계산된 예측 지식 손실 Kpred(x; m, γ)
사전 훈련된 모델 T의 l번째 레이어 출력 XT,l과 압축 모델 S의 l번째 레이어 출력 XS,l의 MSE 손실을 통해 계산된 표현 지식 손실 Krep,l(XT,l, XS,l; ml)
Citations
"사전 훈련된 인코더 기반 언어 모델을 재학습 없이 정확하게 압축하는 방법은 무엇인가?"
"기존 재학습 없는 압축 알고리즘은 높은 압축률에서 심각한 정확도 저하를 겪는데, 이는 압축 오류를 다루지 못하기 때문이다."
"K-prune은 사전 훈련된 모델의 유용한 지식을 보존하기 위해 세심하게 설계된 반복적 압축 프로세스를 통해 정확도 저하 문제를 해결한다."