核心概念
本稿では、ノイズ除去分布の共分散を最適化することで、確率的拡散モデル、特にDDPMやDDIMのサンプリング効率と尤度推定を向上させる、新規な共分散マッチング手法を提案する。
要約
最適な共分散マッチングを用いた確率的拡散モデルの改善
論文種別: 研究論文
書誌情報: Zijing Ou, Mingtian Zhang, Andi Zhang, Tim Z. Xiao, Yingzhen Li, and David Barber. "Improving Probabilistic Diffusion Models With Optimal Covariance Matching". preprint, under review.
研究目的: 確率的拡散モデル、特にDDPMやDDIMのサンプリング効率と尤度推定を向上させることを目的とする。
手法: 従来のDDPMやDDIMでは、ノイズ除去分布の共分散がヒューリスティックに決められていたことに着目し、本研究では、最適な共分散を学習する新しい手法であるOptimal Covariance Matching (OCM)を提案する。OCMは、学習済みスコア関数から最適な解析的共分散の対角成分を直接回帰することで、共分散予測の近似誤差を大幅に削減する。
主な結果: OCMをDDPM、DDIM、潜在拡散モデルに適用することで、生成品質、再現率、尤度評価が向上し、関数評価回数(NFE)も削減されることを示した。
結論: OCMは、拡散モデルのサンプリング効率と尤度推定を大幅に向上させる効果的な手法である。
今後の研究: OCMを大規模なビデオ拡散モデルや、画像からビデオへの生成問題における画像リーク問題への対処など、他の生成モデリングタスクに適用することが考えられる。
拡散モデルは、複雑な現実世界のデータをモデル化する上で大きな成功を収めている。従来の拡散モデルは、ノイズ除去分布の平均値のみを予測し、分散は固定値または学習済み値を使用することが一般的であった。このアプローチでは、高品質で多様なサンプルを生成したり、妥当なモデル尤度を達成するために、非常に多くのステップ(T)が必要となることが多く、推論時に非効率性を招いていた。