이 논문은 LLM의 테이블 기반 추론 능력을 작은 모델로 전달하는 두 단계 증류 프레임워크를 제안한다.
첫 번째 단계에서는 LLM을 사용하여 테이블 기반 추론과 설명을 생성한다. 이때 Chain-of-Thought(CoT) 방법론을 활용한다.
두 번째 단계에서는 LLM에서 증류된 CoT 데이터를 사용하여 작은 모델을 fine-tuning한다.
실험 결과, 이 방법을 통해 fine-tuned된 작은 모델은 특정 LLM 모델을 능가하는 성능을 보였다. 또한 작은 모델 크기에도 불구하고 테이블 기반 추론 능력이 크게 향상되었다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Bohao Yang,C... at arxiv.org 03-26-2024
https://arxiv.org/pdf/2309.13182.pdfDeeper Inquiries