Core Concepts
複雑な頭部構造を適切に表現するためにメッシュとガウシアンの組み合わせを提案し、高品質なレンダリングと様々な編集機能を実現する。
Abstract
本論文は、頭部アバターの高品質なレンダリングと編集機能を実現するためのハイブリッドメッシュガウシアン頭部アバター(MeGA)を提案している。
具体的には以下の通り:
顔部分はメッシュベースの表現を採用し、UVディスプレースメントマップを予測することで詳細な幾何学的特徴を表現する。また、ディフューズテクスチャ、視点依存テクスチャ、表情依存テクスチャの3つの成分からなる神経テクスチャを用いて高品質なレンダリングを実現する。
髪部分はガウシアンスプラッティングを用いて表現し、剛体変換とMLPベースの非剛体変形を組み合わせることで動的な髪の動きをモデル化する。
メッシュによる遮蔽を考慮したブレンディング手法を提案し、顔と髪の自然な合成を実現する。
提案手法は頭部の髪型変更や質感編集などの様々な編集機能を自然に実現できる。
実験結果では、従来手法と比較して高品質なレンダリング結果を示している。特に表情変化時の詳細な肌の質感表現や、髪型変更などの編集機能の有効性が確認できる。
Stats
新しい表情合成時の平均PSNR値は32.47dB、平均SSIM値は0.947、平均LPIPS値は0.058であり、従来手法と比べて1dB以上高い性能を示している。