Khái niệm cốt lõi
LumiNetは、知識蒸留アルゴリズムであり、知覚という独自の表現を導入します。
Tóm tắt
知識蒸留における新しい手法であるLumiNetの提案。
著者らは、従来のKDの哲学から逸脱し、'perception'と呼ばれる概念に重点を置いています。
LumiNetは、過信問題を解決し、最適化を改善するために注力しています。
主要な実験結果は、画像認識、物体検出、転移学習の分野で優れた性能を示しています。
Introduction
知識蒸留(KD)は効率的な戦略として提案されており、logitベースの方法が焦点となっている。
本稿では、「perception」コンセプトを導入した新しい知識蒸留アルゴリズムであるLumiNetが紹介されている。
Methodology
LumiNetは「perception」に焦点を当てた新しいアプローチであり、生徒モデルが教師モデルと同じように「知覚」を整列させることを目指しています。
Experiments
CIFAR-100やImageNetなどのデータセットで実験が行われ、LumiNetが他のKD手法を凌駕する優れたパフォーマンスを示しています。
特にVision Transformer(ViT)アーキテクチャでも高い性能が確認されました。
Thống kê
LumiNetはCIFAR-100で77.5%の精度を達成しました。
Trích dẫn
"Enhanced logit granularity with perception."
"Balanced softening and overfitting."