Główne pojęcia
프로그램 보조 증류(PaD)는 대형 언어 모델의 추론 능력을 작은 모델에 효과적으로 전달할 수 있다. PaD는 추론 프로그램 합성, 자기 개선, 단계별 검증 등의 기법을 통해 작은 모델의 추론 성능을 크게 향상시킬 수 있다.
Streszczenie
이 논문은 대형 언어 모델(LLM)의 추론 능력을 작은 모델에 효과적으로 전달하는 프로그램 보조 증류(PaD) 기법을 제안한다.
- 데이터 합성: LLM을 활용하여 추론 프로그램을 합성하고, 추가 Python 인터프리터를 통해 오류 있는 데이터를 자동으로 제거한다.
- 작은 모델 fine-tuning: 합성된 데이터를 활용하여 작은 모델을 fine-tuning한다.
- 자기 개선: 오류 있는 추론 프로그램을 통해 작은 모델이 스스로 개선할 수 있도록 한다.
- 단계별 검증: 단계별 빔 서치를 통해 더 신뢰할 수 있는 추론 단계를 생성한다.
실험 결과, PaD를 통해 770M 크기의 작은 모델이 13B LLaMA-1, 33B Vicuna-1, 60B PaLM 등 대형 모델을 능가하는 수학 추론 성능을 달성할 수 있었다. 또한 기존 작은 모델 대비 10% 이상의 성능 향상을 보였으며, 데이터와 모델 크기도 크게 감소했다. 다만 추론 능력 향상과 함께 일반 능력이 다소 감소하는 경향이 있다.
Statystyki
작은 모델(CodeT5small)에 PaD를 적용하면 GSM8K 데이터셋에서 약 30.6%의 문제 해결률을 달성할 수 있다.
이는 기존 작은 모델 대비 약 10% 이상 향상된 성과이다.
PaD를 통해 작은 모델은 13B LLaMA-1, 33B Vicuna-1 등 대형 모델의 성능에 근접할 수 있다.
Cytaty
"PaD는 대형 언어 모델의 추론 능력을 작은 모델에 효과적으로 전달할 수 있다."
"PaD를 통해 770M 크기의 작은 모델이 13B LLaMA-1, 33B Vicuna-1, 60B PaLM 등 대형 모델을 능가하는 수학 추론 성능을 달성할 수 있었다."
"PaD는 기존 작은 모델 대비 10% 이상의 성능 향상을 보였으며, 데이터와 모델 크기도 크게 감소했다."