대규모 언어 모델에서 지식 증류를 위한 Kullback-Leibler 발산 재고찰

Core Concepts

대규모 언어 모델에서 정방향 Kullback-Leibler (FKL) 발산과 역방향 Kullback-Leibler (RKL) 발산은 동일한 최적화 목표를 공유하며, 충분한 에폭 후 수렴한다. 그러나 실제로는 제한된 에폭 수에서 FKL은 분포의 헤드 부분에, RKL은 테일 부분에 초점을 맞추므로, 이를 고려한 적응형 Kullback-Leibler (AKL) 발산을 제안한다.

Abstract

이 연구는 대규모 언어 모델(LLM)에서 지식 증류(KD)를 위해 널리 사용되는 Kullback-Leibler 발산에 대해 재고찰한다.
먼저, 기존 연구에서 주장했던 정방향 Kullback-Leibler (FKL) 발산의 평균 추구 행동과 역방향 Kullback-Leibler (RKL) 발산의 모드 추구 행동이 LLM에서는 성립하지 않음을 실험적, 이론적으로 입증한다. 대신 FKL과 RKL은 동일한 최적화 목표를 공유하며, 충분한 에폭 후 수렴한다.
그러나 실제로는 LLM을 그렇게 많은 에폭 동안 학습하지 않는다. 한편 초기 에폭에서 FKL은 분포의 헤드 부분에, RKL은 테일 부분에 초점을 맞추는 것을 발견했다. 이에 따라 FKL과 RKL을 적응적으로 결합하는 Adaptive Kullback-Leiber (AKL) 발산 방법을 제안한다.
실험 결과, AKL은 다양한 작업에서 기존 방법들을 능가하며, GPT-4를 통한 평가에서도 생성된 응답의 다양성과 품질이 향상되었음을 보여준다.

Stats

대규모 언어 모델은 13억 개의 매개변수를 가지고 있다.
지식 증류를 통해 모델 크기를 줄이면서도 성능을 유지할 수 있다.
정방향 Kullback-Leibler (FKL) 발산과 역방향 Kullback-Leibler (RKL) 발산은 동일한 최적화 목표를 공유한다.
실제 실험에서는 50 에폭 이상 학습하지 않는다.
초기 에폭에서 FKL은 분포의 헤드 부분에, RKL은 테일 부분에 초점을 맞춘다.

Quotes

"Kullback-Leiber 발산은 대규모 언어 모델(LLM)을 압축하기 위해 널리 사용되어 왔다."
"역방향 Kullback-Leibler (RKL) 발산은 모드 추구 행동을 보이고 따라서 정방향 Kullback-Leibler (FKL) 발산보다 선호된다고 이전 연구에서 주장했다."
"그러나 이 연구는 실험적, 이론적으로 LLM에서 모드 추구나 평균 추구 행동이 나타나지 않음을 보여준다."

Key Insights Distilled From

Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models

by Taiqiang Wu,... at arxiv.org 04-04-2024

https://arxiv.org/pdf/2404.02657.pdf

Deeper Inquiries

LLM에서 FKL과 RKL의 수렴 속도 차이는 어떻게 설명할 수 있을까?

FKL과 RKL은 KD에서 LLM을 압축하는 데 사용되는 두 가지 주요 방법입니다. 이 연구에서는 FKL과 RKL이 모두 충분한 epoch 후에 동일한 최적화 목표로 수렴한다는 것을 실험적으로 증명하였습니다. 그러나 실제로는 많은 epoch 동안 학습하지 않기 때문에 FKL과 RKL은 초기에 각각 머리 부분과 꼬리 부분에 집중합니다. FKL은 주로 머리 부분에 집중하고 RKL은 꼬리 부분에 집중하는 경향이 있습니다. 이러한 이유로 AKL이 제안되었는데, AKL은 FKL과 RKL을 적응적으로 결합하여 더 나은 결과를 얻을 수 있도록 가중치를 할당합니다.

FKL과 RKL 외에 다른 발산 측도를 적용하면 어떤 결과를 얻을 수 있을까?

FKL과 RKL 외에 다른 발산 측도를 적용한다면 다양한 결과를 얻을 수 있습니다. 예를 들어, 다른 f-발산 측도를 사용하면 모델 간의 차이를 더 잘 파악할 수 있을 것입니다. 또한, 다른 발산 측도를 적용하면 모델 간의 유사성과 차이를 더 효과적으로 측정할 수 있을 것입니다. 이는 지식 증류 과정에서 더 나은 성능을 얻을 수 있도록 도와줄 수 있습니다.

LLM 압축을 위한 다른 접근법(양자화, 가지치기 등)과 AKL을 결합하면 어떤 시너지 효과를 기대할 수 있을까?

LLM 압축을 위한 다른 접근법(양자화, 가지치기 등)과 AKL을 결합하면 더 나은 성능과 효율성을 기대할 수 있습니다. 양자화 및 가지치기는 모델의 크기를 줄이고 계산 비용을 절감하는 데 도움이 됩니다. AKL은 FKL과 RKL을 적응적으로 결합하여 더 나은 결과를 얻을 수 있도록 도와줍니다. 따라서, 다양한 압축 기술과 AKL을 결합하면 모델의 성능을 향상시키고 더 효율적인 압축을 달성할 수 있을 것으로 기대됩니다.