本研究では、動的な人間の外観を高品質に合成するための新しいパラダイムを提案している。主な特徴は以下の通り:
表面ベースの4次元動作エンコーディング: 3D人体メッシュの時間変化を効率的に表現する表面ベースの3D トライプレーン表現を提案する。これにより、時間的な動きと空間的な動きの関係をコンパクトに表現できる。
物理的動作デコーディング: 動作トライプレーンから次のタイムステップの空間微分(法線)と時間微分(速度)を予測することで、物理的に整合性のある動作学習を行う。
4次元外観デコーディング: 動作トライプレーンから効率的な体表面重視の体積レンダリングと高解像度合成を行うことで、高品質な時間変化する人間の外観を生成する。
実験では、ZJU-MoCap、MPII-RDDC、AIST++のデータセットで提案手法の有効性を示し、従来手法を大きく上回る性能を達成している。特に、速い動きや動きに依存した影の合成など、従来手法では困難だった課題に対して優れた結果を得ている。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Tao Hu,Fangz... at arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.01225.pdfDeeper Inquiries