テキストから動画生成

テキストから動画生成のためのカメラ制御の実現

本研究では、テキストから動画を生成する際のカメラ制御を実現するCameraCtrlを提案する。プリューカー埋め込みを用いてカメラパラメータを表現し、プラグアンドプレイ型のカメラ制御モジュールを開発することで、既存のテキストから動画生成モデルにカメラ制御機能を追加できる。また、様々なデータセットを用いた検討から、外観が元のモデルと似ており、カメラ軌道の多様性が高いデータセットが最適であることを示した。実験結果から、CameraCtrlは精密なカメラ制御を実現し、幅広いドメインの動画生成に適用できることが確認された。

ユーザー主導のカメラ移動とオブジェクト動作を用いたカスタマイズ可能な動画生成

テキストから動画生成のためのカメラ制御の実現