Alapfogalmak
知識蒸留において、教師モデルと生徒モデルの精度ギャップを適切に維持することで、生徒モデルの精度向上を図ることができる。
Kivonat
動的教師による双方向マッピング構築を用いた精度ギャップ維持型知識蒸留
Yong Guo, Shulian Zhang, Haolin Pan, Jing Liu, Yulun Zhang, Jian Chen. (2024). GAP PRESERVING DISTILLATION BY BUILDING BIDIRECTIONAL MAPPINGS WITH A DYNAMIC TEACHER. arXiv preprint arXiv:2410.04140v1.
本研究は、知識蒸留において、教師モデルと生徒モデル間の精度ギャップが大きすぎる場合に生じる知識伝達の非効率性を克服することを目的とする。