Concepts de base
一貫性モデルの学習において、高ノイズレベルを含むノイズスケジューリングと、段階的なカリキュラムが重要である。
Résumé
本研究では、一貫性モデルの学習における2つの改善点を提案している。
- ノイズスケジューリング:
- 従来の対数正規分布ノイズに加え、高ノイズレベルを含む多項式ノイズ分布を提案した。
- カラスノイズ生成アルゴリズムの課題を解決するため、事前定義された固定ノイズベクトルを使用した。
- 学習カリキュラム:
- 従来の段階的なカリキュラムではなく、正弦波関数に基づくカリキュラムを提案した。
- これにより、最大の離散化ステップ数に到達した後、徐々にノイズレベルを減らすことができる。
提案手法は、同じハイパーパラメータで実験を行った結果、従来手法よりも優れたFID scoreを達成した。高ノイズレベルの導入と段階的なカリキュラムの設計が、一貫性モデルの学習性能を向上させることが示された。
Stats
高ノイズレベルを含むモデルP3は、FID score 33.54を達成した。
提案手法のモデルP5は、FID score 30.48を達成した。