Temel Kavramlar
本研究では、マルチビュービデオデータから3Dアバターの形状と外観を推定するだけでなく、衣服の物理パラメータも同時に推定する新しい手法を提案する。これにより、未知の動作や照明条件下でも高品質なアバターレンダリングが可能となる。
Özet
本研究は、3Dアバターの物理特性を視覚観察から推定する新しい手法を提案している。
まず、メッシュトラッキングを用いて入力ビデオからアバターの形状変形を正確に追跡する。次に、物理シミュレーターを活用して、衣服の密度、剛性、曲げ剛性などの物理パラメータを最適化する。最後に、物理ベースの逆レンダリングを用いて、衣服の外観を精密に推定する。
この一連のパイプラインにより、従来のアプローチでは困難だった loose-fitting衣服を持つアバターの高品質な動的レンダリングが可能となる。特に以下の点が特徴的:
メッシュトラッキングにより、時間経過に伴う衣服の詳細な形状変形を正確に捉える
物理シミュレーションと勾配ベースの最適化により、衣服の物理パラメータを自動推定
物理ベースの逆レンダリングにより、自己遮蔽などの光学効果を考慮した高品質な外観を生成
これらの技術的な進歩により、PhysAvatarは、アニメーション、リライティング、リドレッシングなどの幅広いアプリケーションを実現できる。
İstatistikler
衣服の密度は200から640の範囲で推定される
衣服の膜剛性は0.1から8の範囲で推定される
衣服の曲げ剛性は0.1から8の範囲で推定される