核心概念
GaussianAvatarsは、3D Gaussianスプラットを使用したダイナミックな3D表現により、写実的で完全に制御可能なヘッドアバターを作成する新しい手法である。
要約
本論文では、GaussianAvatarsと呼ばれる新しい手法を提案している。この手法は、3D Gaussianスプラットを使用したダイナミックな3D表現により、写実的で完全に制御可能なヘッドアバターを作成することができる。
具体的には以下の通りである:
- FLAMEメッシュにリグされた3D Gaussianスプラットを使用することで、表情、姿勢、視点を完全に制御できる写実的なアバターを生成できる。
- Gaussianスプラットの位置とスケールを正則化することで、新しい表情や姿勢でも高品質なアニメーションを実現できる。
- バインディングの継承戦略により、Gaussianスプラットを適応的に追加・削除しながらも、メッシュとの整合性を保つことができる。
- 提案手法は、既存手法と比較して、新規視点合成とセルフリエナクトメントの両方で大幅に優れた性能を示す。
統計
新規視点合成の場合、提案手法はPSNR 31.6、SSIM 0.938、LPIPS 0.065を達成し、既存手法を大きく上回る。
セルフリエナクトメントの場合、提案手法はPSNR 26.0、SSIM 0.910、LPIPS 0.076を達成し、既存手法と同等以上の性能を示す。