Alapfogalmak
生徒が教師の確率から逸脱し、それでも性能を向上させる方法を解明する。
Statisztikák
KDは生徒モデルのテスト精度向上に広く使用されています。
GD内部でKDは暗黙的バイアスを誇張します。
Idézetek
"Distilled students exaggerate one-hot trained teacher’s confidence."
"Exaggerated implicit bias can result in student outperforming the teacher."