多言語コンパクトモデルmALBERTは、大規模言語モデルに匹敵する性能を発揮するか

多言語版のコンパクトモデルALBERTを提案し、大規模言語モデルと比較して、スロット埋め込みタスクと分類タスクにおいて同等の性能を示した。また、サブワード単位のトークン化が言語モデルの性能に与える影響を分析した。