本論文では、Contrastive Knowledge Distillation (CKD)と呼ばれる新しい知識蒸留手法を提案している。従来の知識蒸留手法は、特徴量の類似性を最大化したり、クラス間の意味的な相関を保持したりすることに焦点を当ててきた。一方、提案手法CKDは、サンプルごとの教師と学生の出力ロジットの整合性に着目する。
具体的には、CKDは以下の2つの制約を同時に満たすことを目的とする:
これらの制約は、サンプルごとの対比学習(contrastive learning)の枠組みで定式化される。すなわち、同一サンプルの教師と学生ロジットを正例とし、異なるサンプルの教師と学生ロジットを負例とする。この定式化により、効率的かつ効果的な最適化が可能となる。
提案手法CKDは、CIFAR-100およびImageNet-1Kデータセットの画像分類タスクにおいて、従来手法と比較して高い精度を達成している。また、MS COCOデータセットの物体検出タスクでも優れた性能を示している。
Egy másik nyelvre
a forrásanyagból
arxiv.org
Mélyebb kérdések