대규모 언어 모델의 효율적인 자기 주의 메커니즘: 접두사 인식 KV 캐시와 두 단계 분할 기법

대규모 언어 모델의 자기 주의 메커니즘은 추론 지연의 주요 원인이지만, 시스템 프롬프트의 공유 특성을 활용하여 메모리 사용과 계산 비용을 크게 줄일 수 있다.