Ladda ner Linnk AI
•
Forskningsassistent
>
Logga in
insikt
-
KV 캐시 양자화를 통한 대규모 문맥 길이 LLM 추론
LLaMA 모델의 KV 캐시 압축을 통한 10 백만 문맥 길이 LLM 추론 가속
KV 캐시 활성화가 추론 중 메모리 소비의 주요 요인이 되는 상황에서, 다양한 혁신적인 양자화 기법을 통해 정확도 저하를 최소화하면서도 KV 캐시 크기를 크게 줄일 수 있다.
1
