대형 언어 모델의 효율적인 배포와 압축을 위해 기존 성능 지표의 한계를 극복하는 새로운 토큰 기반 지표를 제안한다. 이를 통해 모델 구성 요소별 성능 저하를 정확히 측정하고, 효과적인 압축 전략을 수립할 수 있다.
대형 언어 모델의 레이어 중 중요도가 낮은 레이어를 식별하고 제거하여 모델 크기를 줄이는 동시에 성능 저하를 최소화하는 방법을 제안한다.
