動的専門家割り当てを用いたMixture-of-Expertsモデルの提案

Transformer ベースのMixture-of-Expertsモデルにおいて、入力トークンの重要性に基づいて動的に専門家を割り当てる新しいルーター機構を提案する。