核心概念
単一視点ビデオから高品質で時空間整合性のある動的3Dオブジェクトを効率的に生成する手法を提案する。
要約
本研究では、単一視点ビデオから高品質で時空間整合性のある動的3Dオブジェクトを効率的に生成する手法「Efficient4D」を提案する。
まず、時間的な滑らかさを考慮した多視点画像生成パイプラインを構築し、高品質な合成データを生成する。次に、この合成データを用いて新しい4Dガウシアンスプラッティングモデルを最適化することで、効率的な動的3Dオブジェクトの再構築と新規視点合成を実現する。
実験の結果、提案手法は従来手法に比べて20倍高速で、かつ高品質な動的3Dオブジェクトの生成が可能であることが示された。さらに、わずか2フレームの入力でも滑らかな動的コンテンツを生成できる、という優れた性能も確認された。
統計
入力ビデオの処理に要する時間は従来手法の120分に対し、提案手法は6分と大幅に短縮された。
提案手法の実時間レンダリング速度は1000FPSに達し、従来手法の20FPSと比べて非常に高速である。