전문가 혼합 대규모 언어 모델의 추론 최적화를 위한 연구

核心概念

전문가 혼합 모델의 성능과 추론 효율성 간의 균형을 달성하기 위한 최적의 전문가 수 및 모델 크기 탐구

摘要

본 연구는 전문가 혼합 기반 대규모 언어 모델의 최적화 방안을 제시합니다.

1. 전문가 수, 모델 크기, 학습 데이터 크기 간의 관계를 나타내는 새로운 스케일링 법칙을 제안합니다. 이를 통해 주어진 학습 예산에서 최적의 모델 구성을 도출할 수 있습니다.

2. 추론 비용을 고려한 최적화 방안을 제시합니다. 기존의 성능 최적화 접근법과 달리, 추론 효율성을 함께 고려하여 실제 배포에 적합한 모델 구성을 찾습니다.

3. 전문가 수가 많은 모델이 추론 비용이 높지만, 학습 예산을 적절히 활용하면 성능과 추론 효율성을 동시에 개선할 수 있음을 보여줍니다. 이를 통해 전문가 혼합 모델의 실용성을 높일 수 있습니다.

统计

모델 크기가 2배 증가하면 학습 데이터 크기도 약 1.8배 증가해야 최적의 성능을 달성할 수 있다.
전문가 수가 4배 증가하면 모델 성능이 약 1.5배 향상된다.
전문가 수가 16개인 모델은 전문가 수가 4개인 모델 대비 약 23.7% ~ 42.8% 수준의 학습 예산만으로도 동일한 성능을 달성할 수 있다.

引用

"전문가 수를 늘리면 모델 성능이 향상되지만, 추론 비용도 함께 증가한다. 따라서 모델 성능과 추론 효율성의 균형을 고려해야 한다."
"전문가 수가 많은 모델이라도 학습 예산을 효율적으로 활용하면 성능과 추론 비용을 동시에 개선할 수 있다."

从中提取的关键见解

Toward Inference-optimal Mixture-of-Expert Large Language Models

by Longfei Yun,... 在 arxiv.org 04-04-2024

https://arxiv.org/pdf/2404.02852.pdf