LLaMA 모델의 KV 캐시 압축을 통한 10 백만 문맥 길이 LLM 추론 가속

KV 캐시 활성화가 추론 중 메모리 소비의 주요 요인이 되는 상황에서, 다양한 혁신적인 양자화 기법을 통해 정확도 저하를 최소화하면서도 KV 캐시 크기를 크게 줄일 수 있다.