大規模言語モデルの高速かつスケーラブルな推論のためのアルゴリズム・システム共同設計: Pre-gated MoE

Pre-gated MoEは、従来のMoEアーキテクチャの課題を解決するアルゴリズム・システム共同設計によって、大規模言語モデルの高速かつメモリ効率的な推論を実現する。