대규모 언어 모델 추론을 위한 효율적이고 경제적인 어텐션 오프로딩

Core Concepts

대규모 언어 모델 추론 시 메모리 집약적인 어텐션 연산을 저렴한 메모리 최적화 장치에 오프로딩하여 전체 시스템의 성능과 비용 효율성을 향상시킬 수 있다.

Abstract

이 논문은 대규모 언어 모델(LLM) 추론 시 발생하는 효율성 및 비용 문제를 해결하기 위한 어텐션 오프로딩 기법을 제안한다. LLM 추론은 자기회귀적 특성으로 인해 메모리 집약적인 어텐션 연산이 전체 계산의 큰 부분을 차지하게 된다. 이는 현대 가속기의 강점인 계산 능력과 잘 부합하지 않아 하드웨어 자원의 심각한 저활용을 초래한다.
저자들은 이를 해결하기 위해 계산 최적화 장치와 메모리 최적화 장치를 분리하는 이기종 아키텍처를 제안한다. 계산 최적화 장치는 LLM의 나머지 연산을 담당하고, 메모리 최적화 장치는 메모리 집약적인 어텐션 연산을 수행한다. 이를 통해 각 연산에 최적화된 하드웨어를 활용할 수 있어 전체 시스템의 성능과 비용 효율성이 크게 향상된다.
저자들은 이 아키텍처의 실현 가능성을 분석하고, 통신 대역폭 요구사항이 기존 네트워킹 기술로도 충분히 충족될 수 있음을 보였다. 또한 지연 시간 문제를 해결하기 위해 통신-어텐션 중첩, 디바이스 측 폴링 등의 기법을 적용하였다.
이를 바탕으로 저자들은 Lamina라는 분산 이기종 LLM 추론 시스템을 개발하였다. 실험 결과, Lamina는 기존 솔루션 대비 1.48배~12.1배 높은 비용 대비 처리량을 달성할 수 있음을 보였다.

Stats

어텐션 연산이 전체 추론 시간의 80% 이상을 차지할 수 있다.
단일 A100 GPU로 LLaMA-13B 모델을 추론할 때, 배치 크기가 1024일 때 최대 처리량을 달성한다.
4개의 RTX 4080 GPU로 LLaMA-7B 모델을 추론할 때, 배치 크기가 1024일 때 1.41배의 성능 향상을 보인다.

Quotes

"Transformer-based large language models (LLMs) exhibit impressive performance in generative tasks but introduce significant challenges in real-world serving due to inefficient use of the expensive, computation-optimized accelerators."
"The attention operator is memory-intensive, exhibiting a memory access pattern that clashes with the strengths of modern accelerators, especially as context length increases."
"Adopting this heterogeneous architecture allows us to design a serving system that flexibly delivers the three essential components (i.e., computational power, memory capacity, and bandwidth) for high-performance LLM inference in a cost-efficient manner."

Key Insights Distilled From

Efficient and Economic Large Language Model Inference with Attention Offloading

by Shaoyuan Che... at arxiv.org 05-06-2024

https://arxiv.org/pdf/2405.01814.pdf

Deeper Inquiries

LLM 추론 시 어텐션 연산 이외의 다른 병목 현상은 무엇이 있을까?

LLM 추론 시 어텐션 연산 이외에도 선형 변환 작업에서 병목 현상이 발생할 수 있습니다. 선형 변환 작업은 QKV, Out 및 FFN 가중치 행렬의 곱셈을 포함하며, 이러한 계산은 전역 메모리에서 e(N+Bd) 데이터를 로드해야 합니다. 이로 인해 산술 강도는 배치 크기가 커질수록 상당히 증가하게 됩니다. 또한, 어텐션 연산 시간도 배치 크기와 문맥 길이가 증가함에 따라 증가하게 됩니다.

이기종 가속기 아키텍처를 적용할 때 발생할 수 있는 기술적 과제는 무엇일까?

이기종 가속기 아키텍처를 적용할 때 발생할 수 있는 기술적 과제 중 하나는 효율적인 데이터 전송과 동기화입니다. 다른 종류의 가속기 간에 데이터 전송 및 동기화를 원활하게 처리하기 위해서는 효율적인 통신 및 동기화 메커니즘이 필요합니다. 또한, 각 가속기의 특성과 요구 사항을 고려하여 작업을 분배하고 관리하는 것도 중요한 기술적 과제입니다.

LLM 추론 최적화를 위해 하드웨어 측면 외에 고려해야 할 다른 접근법은 무엇이 있을까?

LLM 추론 최적화를 위해 하드웨어 측면 외에 고려해야 할 다른 접근법으로는 소프트웨어 최적화와 알고리즘 개선이 있습니다. 소프트웨어 측면에서는 모델 파티셔닝, 연산자 병렬화, 메모리 관리 등을 효율적으로 구현하여 성능을 향상시킬 수 있습니다. 또한, 어텐션 연산 및 다른 연산자의 알고리즘을 개선하여 메모리 사용량을 최적화하고 병목 현상을 완화하는 방법을 고려할 수 있습니다. 이러한 종합적인 접근법을 통해 LLM 추론 성능을 향상시킬 수 있습니다.