대규모 언어 모델의 추론 속도 향상을 위한 지식 증류 기반 투기적 디코딩

지식 증류를 통해 소규모 초안 모델을 대규모 타겟 모델과 더 잘 정렬시킴으로써 투기적 디코딩의 속도를 10-45% 향상시킬 수 있다.