最近、様々な研究が長いビデオの生成を探求しています。しかし、これらのビデオで生成されたフレームはしばしばジッターやノイズが発生します。そのため、私たちは背景と前景の一貫性を最適化する新しいモジュールからなる枠組みを提案しています。実験結果は、当社の方法によって生成されたビデオが最先端の手法と比較して高品質であることを示しています。
最近、拡散モデルは複雑で大規模な画像データセットを処理する際に大きな成功を収めており、これらの方法は空間解像度と時間的期間の両方においてスケーラビリティが向上した動画分布をより良くモデル化する可能性があります。
関連研究では、テキストに基づく長いビデオの生成が注目されており、さまざまな試みが行われています。高品質なテキスト条件付き画像生成モデルに加えて、追加制御信号を利用した作成や既存画像の編集に焦点を当てた最近の研究もあります。
我々は4つのモジュールから成るビデオ生成フレームワークを提案しました。このフレームワークでは背景と前景領域に別々の重みを適用して出力されるビデオ効果を微調整します。
我々は残りの実験を完了するために残りのモジュールを適用しました。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Chaoyi Wang,... alle arxiv.org 03-12-2024
https://arxiv.org/pdf/2403.06356.pdfDomande più approfondite