ゼロショット蒸留によるイメージエンコーダの効率的な活用 - 合成データの有効活用方法

合成データを活用することで、パラメータ数が少なく高速な推論が可能な小規模なイメージエンコーダを効率的に訓練できる。特に、単純な教師-生徒の損失関数ではなく、特徴ベースの蒸留損失を用いることで、合成データと実データの間の一般化性能を大幅に向上させることができる。