核心概念
StructLDMは、2Dの画像データから学習した構造化された潜在空間を用いて、高品質で多様な3Dヒューマンを生成する。
摘要
本論文では、StructLDMと呼ばれる新しい3Dヒューマン生成モデルを提案している。従来の3D-aware GANは、ヒューマンの関節構造や意味的特徴を考慮せずに1次元の潜在空間でモデル化していたが、StructLDMでは、ヒューマンの関節構造や意味的特徴を表現する2次元の構造化された潜在空間を提案している。
具体的には以下の3つの設計により実現している:
- ヒューマンの密な表面マニフォールド上に定義された意味的な構造化された潜在空間
- 部位ごとの局所的なNeRFを用いた構造化された3D-aware auto-decoder
- 構造化された潜在空間上で学習する構造化潜在拡散モデル
これらの設計により、StructLDMは高品質で多様なヒューマン生成を実現し、ポーズ/視点/形状の制御、部位ごとの衣装編集、3Dバーチャルトライオンなどの様々な応用を可能にしている。
統計資料
2Dの画像データから学習した構造化された潜在空間を用いることで、高品質で多様なヒューマン生成を実現できる。
部位ごとの局所的なNeRFを用いることで、ポーズ/視点/形状の制御や部位ごとの衣装編集などの応用が可能になる。
構造化された潜在空間上で学習する拡散モデルにより、高品質な3Dヒューマン生成を実現できる。
引述
"StructLDMは、2Dの画像データから学習した構造化された潜在空間を用いて、高品質で多様な3Dヒューマンを生成する。"
"StructLDMの設計には、ヒューマンの関節構造や意味的特徴を表現する2次元の構造化された潜在空間、部位ごとの局所的なNeRF、構造化された潜在空間上で学習する拡散モデルが含まれる。"
"StructLDMにより、ポーズ/視点/形状の制御、部位ごとの衣装編集、3Dバーチャルトライオンなどの様々な応用が可能になる。"