リアルタイムで一貫性のある3Dポートレートビデオの再構築

Core Concepts

単一のカメラから撮影された入力ビデオフレームと参照画像を融合することで、時間的に一貫性のある3Dポートレートビデオを再構築する。

Abstract

本研究は、単一画像からの3Dポートレート再構築と3Dリエナクトメントの個別の限界を認識し、両者の長所を融合した新しい手法を提案している。
具体的には以下の通り:

単一画像からの3Dリフティング手法であるLP3Dを用いて、入力フレームから生の3Dトライプレーンを生成する。しかし、LP3Dは入力視点に依存し、側面からの入力では歪みや人物の同一性の喪失が見られる。

そこで、参照画像から事前に抽出した個人固有の3Dトライプレーン(トライプレーン・プライオア)を用いて、生成された3Dトライプレーンの歪みを補正する「トライプレーン・アンディストーター」モジュールを導入する。

さらに、補正された3Dトライプレーンとトライプレーン・プライオアを融合する「トライプレーン・フューザー」モジュールを導入する。これにより、個人の特徴を保ちつつ、入力フレームの動的な外観(表情、照明)を再現できる。

合成データを用いた学習により、時間的に一貫性のある高品質な3Dポートレートビデオを生成できる。

本手法は、単一画像からの3Dリフティングと3Dリエナクトメントの長所を融合し、時間的に一貫性のある動的な3Dポートレートの再構築を実現している。これにより、テレプレゼンスシステムの高品質化に貢献できると期待される。

Stats

単一画像からの3Dリフティングでは、入力視点に依存して歪みや同一性の喪失が生じる。
参照画像から抽出した個人固有の3Dトライプレーンを用いることで、入力フレームの歪みを補正できる。
補正された3Dトライプレーンと参照画像のトライプレーンを融合することで、個人の特徴を保ちつつ、入力フレームの動的な外観を再現できる。

Quotes

なし

Key Insights Distilled From

Coherent 3D Portrait Video Reconstruction via Triplane Fusion

by Shengze Wang... at arxiv.org 05-03-2024

https://arxiv.org/pdf/2405.00794.pdf

Deeper Inquiries

複数の参照画像を用いることで、さらに高品質な3Dポートレートビデオの再構築が可能になるか?

複数の参照画像を使用することで、3Dポートレートビデオの再構築の品質を向上させる可能性があります。単一の参照画像では、特定の表情やポーズに関する情報に限定されるため、複数の参照画像を使用することでより多角的な情報を取り入れることができます。例えば、異なる角度からの参照画像を使用することで、被写体の立体的な特徴や表情の変化をより正確に捉えることが可能になります。これにより、再構築される3Dポートレートビデオのリアリティや精度が向上し、より高品質な出力が期待されます。