대규모 언어 모델의 모바일 GPU에서의 고효율 배포

Core Concepts

대규모 언어 모델(LLM)을 모바일 기기의 GPU에 효율적으로 배포하기 위한 4가지 최적화 기법을 제안한다.

Abstract

이 논문은 대규모 언어 모델(LLM)을 모바일 기기의 GPU에 효율적으로 배포하기 위한 4가지 핵심 최적화 기법을 제안한다.

기호 표현 기반의 동적 형상 모델 추론 지원:

동적 형상 유도, 메모리 재사용, 실행 스케줄링 등을 지원한다.

연산자 최적화 및 실행 우선순위 설정:

성능 향상과 모바일 지연 감소를 위해 최적화한다.

M0E4 FP4 양자화 기법:

역양자화 오버헤드를 최소화하여 더 효율적인 행렬 곱셈을 가능하게 한다.

서브 텐서 기반 KV 캐시 복사 제거:

각 LLM 추론 반복 후 모델 출력에서 모델 입력으로의 KV 캐시 복사를 제거한다.
이러한 최적화 기법을 통해 개발한 Transformer-Lite 엔진은 PyTorch에서 내보낸 ONNX 모델을 사용하여 LLM을 배포할 수 있으며, Qualcomm과 MediaTek 프로세서에서 2B~14B 크기의 다양한 LLM 모델을 평가했다. 특히 ChatGLM2 6B 모델에 대해 121 token/s의 prefill 속도와 14 token/s의 디코딩 속도를, Gemma 2B 모델에 대해 330 token/s의 prefill 속도와 30 token/s의 디코딩 속도를 달성했다. 이는 CPU 기반 FastLLM과 GPU 기반 MLC-LLM 대비 각각 10배 이상, 2~3배 빠른 성능이다.

Stats

퀄컴 Snapdragon 8 Gen 3 프로세서 기반 Gemma 2B 모델의 prefill 속도는 330 token/s이다.
퀄컴 Snapdragon 8 Gen 3 프로세서 기반 ChatGLM2 6B 모델의 prefill 속도는 121 token/s이다.
퀄컴 Snapdragon 8 Gen 3 프로세서 기반 Gemma 2B 모델의 디코딩 속도는 30 token/s이다.
퀄컴 Snapdragon 8 Gen 3 프로세서 기반 ChatGLM2 6B 모델의 디코딩 속도는 14 token/s이다.

Quotes

"현재 애플리케이션은 주로 클라우드 기반 배포를 채택하고 있지만, 모바일 기기의 성능 향상으로 인해 모바일 기기에 LLM을 네이티브로 배포하는 것이 중요해지고 있다."
"모바일 기기에 LLM을 배포하는 것은 하드웨어 성능, 메모리 대역폭, 저장 용량 등의 제한으로 인해 어려움이 있다."
"LLM 추론 속도는 사용자 경험에 매우 중요하다. 매개변수가 줄어든 모델은 더 빠른 추론 속도를 가지지만, 정확도가 불가피하게 저하된다."

Key Insights Distilled From

Transformer-Lite

by Luchang Li,S... at arxiv.org 04-01-2024

https://arxiv.org/pdf/2403.20041.pdf

Deeper Inquiries

LLM 모델의 메모리 사용량을 줄이기 위한 추가적인 기법은 무엇이 있을까?

메모리 사용량을 줄이기 위한 추가적인 기법으로는 KV 캐시의 압축이나 메모리 공유 기법을 활용하는 방법이 있습니다. KV 캐시의 압축은 KV 캐시를 압축하여 메모리 사용량을 최적화하는 방법이며, 메모리 공유 기법은 동일한 메모리를 여러 텐서가 공유하여 중복 메모리 사용을 최소화하는 방법입니다. 또한 메모리 관리를 효율적으로 수행하여 불필요한 메모리 할당을 최소화하고 메모리 재사용을 촉진하는 방법도 메모리 사용량을 줄이는 데 도움이 될 수 있습니다.

LLM 모델의 디코딩 속도를 더 향상시킬 수 있는 방법은 무엇이 있을까?

LLM 모델의 디코딩 속도를 향상시키기 위한 방법으로는 효율적인 메모리 관리, 병렬 처리 최적화, 효율적인 캐시 활용, 그리고 효율적인 연산 구조 설계 등이 있습니다. 또한 디코딩 단계에서 발생하는 병목 현상을 해결하기 위해 효율적인 알고리즘 및 데이터 구조를 적용하고, 메모리 및 연산 자원을 최적화하여 디코딩 속도를 향상시킬 수 있습니다. 또한 향상된 메모리 관리 및 데이터 구조 설계를 통해 메모리 및 연산 자원을 효율적으로 활용하여 디코딩 속도를 높일 수 있습니다.

LLM 모델의 성능과 효율성 향상을 위해 하드웨어 측면에서 고려해야 할 사항은 무엇일까?

LLM 모델의 성능과 효율성을 향상시키기 위해 하드웨어 측면에서 고려해야 할 사항으로는 GPU의 최적화, 메모리 대역폭 관리, 연산 속도 향상, 및 하드웨어 가속화 기술의 활용이 있습니다. GPU의 최적화를 통해 모델의 연산을 효율적으로 처리하고, 메모리 대역폭을 효율적으로 활용하여 데이터 전송 속도를 향상시키는 것이 중요합니다. 또한 연산 속도를 향상시키기 위해 하드웨어 가속화 기술을 적용하고, 모델의 병목 현상을 해결하여 성능과 효율성을 극대화할 수 있습니다.