データ拡張の強度がナレッジ・ディスティレーションの効果を決める - 注意メカニズムと忠実度の再考

データ拡張の強度を高めることで、教師モデルの注意メカニズムの多様性が高まり、学生モデルの一般化性能が向上する。一方で、学生モデルと教師モデルの忠実度は低下する。この低忠実度現象は問題ではなく、むしろ学生モデルの一般化を促進する重要な特性である。