MotionMasterは、動画生成における重要なトピックであるカメラモーション制御のために提案されたモデルです。従来のカメラモーション制御手法は、カメラモジュールの訓練を必要とし、大量のパラメータを持つ動画生成モデルのため、多くのコンピューティングリソースを必要としていました。また、訓練時にカメラモーションタイプを事前に定義していたため、柔軟なカメラ制御を実現できませんでした。
MotionMasterは、ソースビデオからカメラモーションとオブジェクトモーションを分離する2つの手法を提案しています。1つ目は1ショットカメラモーション分離で、単一のソースビデオからカメラモーションを抽出します。背景領域のモーションはカメラモーションのみを含むと仮定し、前景領域のモーションからカメラモーションを推定するためにポアソン方程式を解きます。2つ目は少数ショットカメラモーション分離で、類似したカメラモーションを持つ複数のビデオからカメラモーションの共通特徴を抽出します。ウィンドウベースのクラスタリング手法を用いて、各ピクセルの共通カメラモーションを抽出します。
さらに、MotionMasterはカメラモーションの加算性と位置合成能力を活用し、異なるカメラモーションを組み合わせたり、領域ごとに異なるカメラモーションを適用したりすることで、より柔軟でダイナミックなカメラモーション制御を実現しています。
広範な実験により、MotionMasterが訓練不要でありながら、高品質かつ多様な動画生成と正確なカメラモーション転送を実現できることが示されています。
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Teng Hu,Jian... : arxiv.org 04-25-2024
https://arxiv.org/pdf/2404.15789.pdfDaha Derin Sorular