대량 언어 모델의 효율적인 배치 추론을 위한 BASS: Batched Attention-optimized Speculative Sampling

BASS는 대량 언어 모델의 추론 속도와 GPU 활용도를 크게 향상시키는 새로운 배치 추론 기법입니다.