大規模言語モデルをエッジデバイスに効率的に蒸留する

大規模言語モデルをエッジデバイスに効率的に展開するための新しい手法「Multistage Low-rank Fine-tuning of Super-transformers (MLFS)」を提案する。エンコーダモデルでは従来手法と同等以上の性能を示しつつ、大幅な圧縮を実現できる。デコーダモデルでは同程度の圧縮は難しいが、学習時間を大幅に短縮できる。