小規模モデルの事前学習を必要としない驚くべき蒸留の有効性

大規模モデルの知識を蒸留することで、小規模モデルは事前学習を行わずに同等以上の性能を達成できる。