LLaMA 모델 대규모 학습을 위한 ZeRO 통신 오버헤드 감소 기법

AMSP는 모델 상태 샤딩에 대한 유연성을 제공하여 통신 비용을 최소화하고, 통신과 계산의 효율적인 중첩을 통해 대규모 LLaMA 모델 학습 성능을 향상시킨다.