効率的なデータセット蒸留のための注意機構の活用

大規模なデータセットを小規模な合成データセットに蒸留することで、モデルの学習コストを大幅に削減できる。本研究では、空間的注意と特徴チャネルの注意を組み合わせたATOMモジュールを提案し、従来手法よりも優れた蒸留性能を実現している。