本論文では、ワイヤレス分散型の大規模言語モデル(LLM)のフレームワークであるWDMoEを提案している。WDMoEでは、LLMのミクスチャー・オブ・エキスパート(MoE)レイヤーを分解し、ゲーティングネットワークと前段の神経ネットワークレイヤーを基地局(BS)に配置し、エキスパートネットワークを端末デバイスに分散させる。これにより、エキスパートネットワークの並列処理能力を活用しつつ、ワイヤレス通信の不安定性に対処できる。
具体的には、モデルの性能と端末から基地局までの遅延の両方を考慮したエキスパート選択ポリシーを設計している。様々なLLMとデータセットを用いた評価実験の結果、WDMoEは既存モデルよりも優れた性能を示すだけでなく、遅延も大幅に削減できることが示された。
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Nan Xue,Yapi... klo arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.03131.pdfSyvällisempiä Kysymyksiä