本研究では、人間アバターの写実的な合成のために、メッシュ変形と2D UV空間でのガウシアンテクスチャの共同学習を提案する。
まず、入力となるSMPLメッシュに対して、ポーズ依存の頂点変位を学習するメッシュU-Netを導入する。これにより、詳細な幾何学的変形を表現できる。
次に、平均テクスチャマップと頂点位置マップを入力として、ガウシアンのテクスチャ特徴を2D UV空間で学習するガウシアンU-Netを提案する。これにより、小さな領域の複雑な特徴も正確にモデル化できる。
最後に、学習したメッシュ変形とガウシアンテクスチャを組み合わせ、ガウシアンスプラッティングによる高品質な画像合成を行う。
実験の結果、提案手法は新規ビューと新規ポーズの合成において、最先端の手法を上回る性能を示した。特に、メッシュ変形とガウシアンテクスチャの共同学習が、写実的な人間アバターの生成に重要であることが確認された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yujiao Jiang... at arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11589.pdfDeeper Inquiries