AcceLLM: 로드 밸런싱 및 데이터 지역성을 위한 중복성을 사용하여 LLM 추론 가속화

AcceLLM은 중복 KV 캐시를 활용하여 LLM 추론의 지연 시간을 줄이고 하드웨어 리소스 활용을 향상시키는 새로운 방법입니다.