Belangrijkste concepten
本稿では、従来のKLダイバージェンスに基づく知識蒸留が、生徒モデルと教師モデルの出力間の相関関係を十分に捉えられないことに着目し、特に強力な教師モデルを用いた場合に、生徒モデルの精度と汎化能力が低下する問題を指摘しています。この問題に対処するため、ピアソン相関係数とスピアマン順位相関係数を組み合わせた新しい知識蒸留手法であるCMKDを提案し、教師モデルの出力値だけでなく、クラス間の相対的な順位関係も学習することで、より効率的かつ堅牢な知識蒸留を実現しています。
Samenvatting
相関マッチングに基づく、より強力な教師モデルからの効率的かつ堅牢な知識蒸留:論文要約
Niu, W., Wang, Y., Cai, G., & Hou, H. (2024). Efficient and Robust Knowledge Distillation from A Stronger Teacher Based on Correlation Matching. arXiv preprint arXiv:2410.06561v1.
本論文は、知識蒸留(KD)における教師モデルと生徒モデルの容量ギャップ問題、特に強力な教師モデルを用いた場合に生徒モデルの性能が低下する問題に着目し、その原因を分析し、より効果的な知識蒸留手法を提案することを目的としています。