
GEAR proposes an efficient KV cache compression framework for near-lossless high-ratio compression, improving system throughput and reducing memory size.


coremsg

gear-efficient-kv-cache-compression-for-near-lossless-generative-inference-of-llm


GEAR: Efficient KV Cache Compression for Near-Lossless Generative Inference of LLM


title_rewrite


LoRC는 사전 훈련된 LLM의 KV 캐시를 압축하여 메모리 사용량을 줄이면서도 성능 저하를 최소화하는 효율적인 저랭크 압축 기법이다.


llm-kv-캐시를-위한-점진적-압축-전략-기반-저랭크-압축-기법-lorc-


LLM KV 캐시를 위한 점진적 압축 전략 기반 저랭크 압축 기법 (LoRC)
