대규모 MoE 모델의 분산 학습 및 추론 가속화를 위한 Lina

Core Concepts

Lina는 MoE 모델의 분산 학습 및 추론 속도를 향상시키기 위해 통신 스케줄링과 전문가 패킹 기술을 제안한다.

Abstract

이 논문은 분산 MoE 모델 학습의 주요 병목 지점인 all-to-all 통신 문제를 해결하기 위한 Lina 시스템을 소개한다.
첫째, Lina는 tensor 분할과 마이크로 연산 스케줄링을 통해 all-to-all 통신을 우선순위화하여 allreduce와의 경쟁을 최소화한다. 이를 통해 all-to-all 완료 시간을 평균 2.21배 단축할 수 있었다.
둘째, Lina는 단일 디바이스에 여러 전문가를 패킹하여 all-to-all 전송 크기를 줄인다. 이를 위해 DRAM 오프로딩과 병렬 전문가 실행 기법을 활용하여 추가 오버헤드를 최소화한다. 전문가 패킹을 통해 전체 학습 단계 시간을 평균 1.19배 단축할 수 있었다.
종합적으로 Lina는 다양한 NLP 모델에 대해 최대 1.73배의 학습 단계 시간 가속화를 달성했다.

Stats

all-to-all 통신 시간은 전체 학습 단계 시간의 37.4%를 차지한다.
all-to-all과 allreduce의 동시 실행으로 인한 all-to-all 지연 시간은 최대 4.14배까지 증가할 수 있다.
전문가 수가 늘어날수록 all-to-all 시간이 전체 학습 단계 시간에서 차지하는 비율이 44.5%까지 증가한다.

Quotes

"Scaling model parameters usually improves model quality, but at the price of high computation overhead. Sparsely activated models, usually in the form of Mixture of Experts (MoE) architecture, have constant computation cost over their dense counterparts, thus providing opportunities to train and serve a large model at a reasonable cost."
"We focus on the efficiency of MoE training in this work. As some [22,29] has shown, the all-to-all operation is the main bottleneck in distributed MoE training."

Key Insights Distilled From

Accelerating Distributed MoE Training and Inference with Lina

by Jiamin Li,Yi... at arxiv.org 04-30-2024

https://arxiv.org/pdf/2210.17223.pdf

Deeper Inquiries

MoE 모델의 다른 병목 지점은 무엇이며 이를 해결하기 위한 방법은 무엇일까?

MoE 모델의 다른 병목 지점은 all-to-all 통신과 expert packing이다. all-to-all 통신은 모든 GPU 간에 데이터를 교환하는 데 시간이 많이 소요되며, 이는 모델의 훈련 시간을 늘리는 요인이 될 수 있다. 이를 해결하기 위해 Lita는 텐서 파티셔닝과 마이크로-옵스를 도입하여 all-to-all 작업을 작은 청크로 분할하고 우선순위를 부여하여 효율적으로 관리한다. 또한 expert packing은 여러 전문가를 하나의 장치에 포장하여 네트워크 전송 크기와 시간을 줄이는 방법으로, 이를 통해 모델의 성능을 향상시킨다.

Lina의 전문가 패킹 기법을 다른 분산 학습 시스템에 적용할 수 있을까?

Lina의 전문가 패킹 기법은 MoE 모델의 성능을 향상시키는 데 중요한 역할을 한다. 이 기법은 네트워크 트래픽을 줄이고 전문가 계산 시간을 최적화하여 효율적인 모델 훈련을 가능하게 한다. 다른 분산 학습 시스템에서도 이러한 전문가 패킹 기법을 적용할 수 있다. 다른 시스템이나 프레임워크에서도 전문가를 효율적으로 패킹하고 관리하여 모델의 성능을 향상시킬 수 있다.

MoE 모델의 성능 향상을 위해 하드웨어 측면에서 어떤 개선이 필요할까?

MoE 모델의 성능 향상을 위해 하드웨어 측면에서는 GPU 메모리 관리와 병렬 처리 능력을 개선해야 한다. GPU 메모리 관리를 최적화하여 모델의 매개 변수와 데이터를 효율적으로 처리할 수 있도록 해야 한다. 또한 병렬 처리 능력을 향상시켜 여러 전문가를 동시에 처리하고 효율적으로 계산할 수 있도록 해야 한다. 이를 통해 MoE 모델의 성능을 최적화하고 효율적인 학습을 가능하게 할 수 있다.