複数の高性能教師モデルの知識を効果的に統合し、小規模な学生モデルの性能を大幅に向上させる新しい知識蒸留フレームワークMTKDを提案する。
大規模なデータセットを使用することは画像スーパーレゾリューションにおいて両刃の剣である。豊富な学習素材を提供する一方で、膨大な計算リソースと記憶容量を必要とする。本研究では、データセットプルーニングがこの課題の解決策となることを示す。簡単な事前学習済みスーパーレゾリューションモデルを使用して損失値に基づいて学習サンプルを選択する新しい手法を提案する。オリジナルデータセットの50%のサンプルを使用することで、オリジナル全体のデータセットを使用した場合と同等以上の性能を達成できることを実証する。さらに、最も難しい上位5%のサンプルを除外することで、学習効率をさらに高められることを示す。