Core Concepts
3Dガウシアンスプラッティングを用いて、マルチビューの動画から写実的な人間アバターを学習し、任意の姿勢で実時間描画できるようにする。
Abstract
本研究では、写実的な人間アバターをリアルタイムで描画する問題に取り組んでいる。従来のメッシュベースのアプローチに対して、ニューラルネットワークベースの表現が優れた視覚品質を実現できるが、リアルタイム描画や新しい姿勢への適応が困難であった。
提案手法では、3Dガウシアンスプラッティングを用いて人間の体を表現する。ガウシアン原始要素は、粗い姿勢ベースの変形と局所的な非剛体変形の組み合わせによって、任意の姿勢に適応される。
学習段階では、マルチビューの動画から、ガウシアンの位置、向き、色、不透明度、スキニング重み、局所変形用の潜在コードを最適化する。
定量評価の結果、提案手法は既存手法と比べて高いPSNR、SSIM、FIDスコアを達成しつつ、1桁高速な実時間描画を実現できることが示された。これは、ガウシアンスプラッティングの明示的な表現と、前方スキニングに基づく効率的な変形手法によるものである。
Stats
提案手法は、THuman4データセットにおいて、従来手法と比べて1.5dBのPSNR向上を達成した。
提案手法は、512x512解像度の画像を1秒間に80フレームの速度で描画できる。