核心概念
本稿では、拡散モデルの高速化手法として、1対多知識蒸留(O2MKD)を提案する。これは、1つの教師モデルの知識を、連続した時間ステップのサブセットを学習する複数の生徒モデルに蒸留する。これにより、従来の知識蒸留や高速サンプリング手法と組み合わせることで、大幅な高速化を実現できる。
本稿では、画像生成における拡散モデルの高速化手法として、**1対多知識蒸留(O2MKD)**を提案する。拡散モデルは高品質な画像生成能力を持つ一方で、従来の生成モデルと比較して計算コストが高いという課題がある。従来の高速化手法はサンプリングステップ数の削減に焦点を当ててきたが、本稿では各時間ステップにおける計算コスト削減に取り組む。
拡散モデルは、ノイズ除去ネットワーク(UNetなど)を複数時間ステップにわたって反復的に推論することで画像を生成する。この反復処理が計算コスト増加の要因となっている。