バニラトランスフォーマーは転送能力の教師である

MoEモデルは、バニラモデルに比べて転送能力が劣っており、その問題を解決するために転送能力蒸留を導入することが有効である。