대형 언어 모델의 지식 증류는 오픈 소스 모델에 고급 능력을 전달하고 모델 압축 및 자체 개선을 촉진하는 중요한 방법입니다.
교사 모델의 잘못된 예측을 바로잡고 적절한 데이터를 선택하여 학생 모델의 성능을 향상시킨다.
문장 수준 지식 증류는 복잡한 시나리오에 더 적합하고, 토큰 수준 지식 증류는 단순한 시나리오에 더 적합하다.
