이 논문은 무선 통신 시스템에서 대규모 언어 모델(LLM)을 효율적으로 활용하기 위한 무선 분산 LLM 프레임워크인 WDMoE를 제안한다.
주요 내용은 다음과 같다:
WDMoE는 전문가 혼합(MoE) 기반의 LLM 구조를 활용한다. MoE는 병렬 처리가 가능한 전문가 네트워크로 구성되어 무선 환경에 적합하다.
WDMoE는 기지국의 엣지 서버와 모바일 기기에 LLM을 분산 배치한다. 기지국에는 어텐션 메커니즘과 게이팅 네트워크를 두고, 전문가 네트워크는 모바일 기기에 분산시킨다.
무선 채널 상황을 고려하여 동적으로 전문가 선택을 조정하는 정책을 제안한다. 이를 통해 성능과 지연 시간을 동시에 최적화할 수 있다.
실험 결과, WDMoE는 기존 LLM 모델들보다 우수한 성능을 보이면서도 지연 시간을 크게 줄일 수 있음을 확인했다. 이를 통해 무선 환경에서 대규모 언어 모델의 실용성을 높일 수 있다.
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by Nan Xue,Yapi... klokken arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.03131.pdfDypere Spørsmål