대규모 언어 모델에서의 투기적 실행: 개요와 분석

대규모 언어 모델의 추론 효율성 향상을 위해 투기적 실행 기법이 도입되었으며, 이는 토큰 생성 과정을 병렬화하여 디코딩 속도를 크게 높일 수 있다.