핵심 개념
ワイヤレス通信システムにおいて、ミクスチャー・オブ・エキスパートを用いて大規模言語モデルを基地局のエッジサーバーと端末デバイス間で協調的に展開する新しいパラダイムを提案する。
초록
本論文では、ワイヤレス分散型の大規模言語モデル(LLM)のフレームワークであるWDMoEを提案している。WDMoEでは、LLMのミクスチャー・オブ・エキスパート(MoE)レイヤーを分解し、ゲーティングネットワークと前段の神経ネットワークレイヤーを基地局(BS)に配置し、エキスパートネットワークを端末デバイスに分散させる。これにより、エキスパートネットワークの並列処理能力を活用しつつ、ワイヤレス通信の不安定性に対処できる。
具体的には、モデルの性能と端末から基地局までの遅延の両方を考慮したエキスパート選択ポリシーを設計している。様々なLLMとデータセットを用いた評価実験の結果、WDMoEは既存モデルよりも優れた性能を示すだけでなく、遅延も大幅に削減できることが示された。
통계
1つのプロンプトの処理遅延は、Mixtralと比べて、PIQA benchmarkで20.08%、ARC-Challenge benchmarkで16.2%、Humaneval benchmarkで37.54%、GSM-8K benchmarkで30.21%、BoolQ benchmarkで21.86%短縮された。
WDMoE-0.2は、GSM-8K benchmarkで1.5%の性能向上と30.21%の遅延削減を実現した。
WDMoE-0.3は、PIQA benchmarkで1.65倍の高速化を達成した。
인용구
"ワイヤレス通信システムにおいて、LLMをどのようにサポートできるかについては十分に研究されていない。"
"WDMoEは、既存モデルよりも優れた性能を示すだけでなく、遅延も大幅に削減できる。"