低ランク専門家の混合体を用いた密集型多タスク予測

本論文では、低ランク専門家の混合体(MLoRE)と呼ばれる新しいデコーダ重視の手法を提案する。MLoREは、MoEの構造に一般的な畳み込みパスを追加することで、すべてのタスク間の大域的な関係をモデル化する。さらに、専門家の数を増やしてもパラメータとコンピューテーションコストが大きく増加しないよう、低ランク形式の畳み込みを専門家ネットワークに適用する。この設計により、多様な密集型タスクを単一のネットワークで学習することができる。