Core Concepts
本手法は、多視点画像から直接トポロジー一貫した顔メッシュを再構築することを可能にする。メッシュ上の疎な特徴を周囲の空間に伝播させることで、体積レンダリングを通じて画像からメッシュ形状と外観を最適化する。
Abstract
本論文は、多視点顔画像から直接トポロジー一貫した顔メッシュを再構築する手法を提案する。
まず、メッシュ上の点と最近傍点との距離を体積レンダリングの密度に変換する。次に、学習可能な特徴伝播モジュールを提案し、メッシュ表面の疎な特徴を周囲の空間に伝播させることで、連続的な放射輝度場をシミュレートする。これにより、画像からメッシュ形状と暗黙的な外観特徴を最適化することができる。
提案手法の特徴は以下の通り:
メッシュ表面の特徴を相対座標系で表現することで、メッシュ変形に対して不変な放射輝度場を実現する。
体積レンダリングを用いることで、画像からメッシュ形状と外観を直接最適化できる。
実験結果から、提案手法は高品質な顔メッシュ再構築と写実的なレンダリングを実現できることが示された。また、再構築メッシュを変形しても一貫した描画品質を維持できる。
Stats
提案手法の再構築誤差は4.08451であり、非剛体ICP法の3.99536と同等の精度を達成した。
提案手法のPSNR値は31.6232、SSIM値は0.993631、LPIPS値は0.090816であり、ベースライン手法よりも優れた描画品質を示した。