本論文では、ワイヤレス分散型の大規模言語モデル(LLM)のフレームワークであるWDMoEを提案している。WDMoEでは、LLMのミクスチャー・オブ・エキスパート(MoE)レイヤーを分解し、ゲーティングネットワークと前段の神経ネットワークレイヤーを基地局(BS)に配置し、エキスパートネットワークを端末デバイスに分散させる。これにより、エキスパートネットワークの並列処理能力を活用しつつ、ワイヤレス通信の不安定性に対処できる。
具体的には、モデルの性能と端末から基地局までの遅延の両方を考慮したエキスパート選択ポリシーを設計している。様々なLLMとデータセットを用いた評価実験の結果、WDMoEは既存モデルよりも優れた性能を示すだけでなく、遅延も大幅に削減できることが示された。
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Nan Xue,Yapi... lúc arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.03131.pdfYêu cầu sâu hơn