이 논문에서는 검색 기반 투기적 디코딩 (REST)이라는 새로운 알고리즘을 소개한다. REST는 기존의 투기적 디코딩 방식과 달리 작은 언어 모델 대신 데이터스토어에서 초안 토큰을 검색하여 사용한다.
데이터스토어 구축 단계에서는 사전 학습 데이터 또는 지시 튜닝 데이터를 활용하여 문맥-연속 쌍을 구축한다. 추론 단계에서는 이전 토큰을 사용하여 데이터스토어에서 정확히 일치하는 문맥을 찾고, 해당 문맥의 연속 토큰들을 초안 토큰 후보로 사용한다. 이 후보들을 트라이 구조로 구성하고, 가장 높은 빈도의 노드를 선택하여 초안 토큰으로 사용한다. 이 초안 토큰들은 대형 언어 모델을 통해 검증된다.
실험 결과, REST는 7B와 13B 규모의 언어 모델에서 1.62배에서 2.36배의 속도 향상을 달성했다. 특히 코드 생성 분야에서 두드러진 성능 향상을 보였다. REST는 추가 학습 없이 기존 언어 모델에 쉽게 통합될 수 있는 장점이 있다.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Zhenyu He,Ze... ב- arxiv.org 04-05-2024
https://arxiv.org/pdf/2311.08252.pdfשאלות מעמיקות