ビデオ拡散モデル

ビデオ拡散における時間モデリングの再定義：ベクトル化されたタイムステップアプローチ

従来のビデオ拡散モデル (VDM) は、ビデオクリップ全体に単一のタイムステップを使用するため、複雑な時間的依存関係のモデリングが制限されています。本稿では、各フレームが独立したノイズスケジュールに従うことを可能にする、ベクトル化されたタイムステップ変数 (VTV) を導入したフレームアウェアビデオ拡散モデル (FVDM) を提案します。FVDM は、標準的なビデオ生成において優れた視覚品質を実現するだけでなく、画像からビデオへの生成、ビデオ補間、長いビデオ合成など、複数のダウンストリームタスクをゼロショットで可能にします。

効率的な推論を用いた高速かつメモリ効率の高いビデオ拡散

ビデオ拡散における時間モデリングの再定義：ベクトル化されたタイムステップアプローチ

ビデオ拡散モデル: サーベイ