핵심 개념
본 논문은 2D 이미지 데이터로부터 구조화된 잠재 공간을 학습하여 고품질의 3D 인간 생성 및 편집을 가능하게 하는 StructLDM 모델을 제안한다.
초록
본 논문은 3D 인간 생성을 위한 새로운 패러다임을 제안한다. 핵심은 구조화된 2D 잠재 공간으로, 이를 통해 인간 모델링과 편집이 향상된다. 구조화된 자동 디코더와 잠재 확산 모델을 활용하여 구조화된 잠재 공간을 임베딩하고 샘플링한다. 3개의 인간 데이터셋에 대한 실험에서 최신 기술 대비 우수한 성능을 보이며, 생성 및 편집 결과를 통해 구조화된 잠재 공간의 장점을 입증한다.
- 구조화된 3D 인간 표현: 인간 신체의 관절 구조와 의미를 보존하는 2D 잠재 공간을 제안한다.
- 구조화된 자동 디코더: 부위별 구조화된 NeRF와 전체 스타일 혼합기를 통해 고품질 인간 렌더링을 수행한다.
- 구조화된 잠재 확산 모델: 구조 정렬 정규화를 활용하여 구조화된 잠재 공간에서 확산 모델을 학습한다.
- 다양한 인간 생성 및 편집 기능: 포즈, 시점, 형태 제어, 합성적 생성, 부위별 편집, 3D 가상 착용 등을 지원한다.
통계
다양한 의상 스타일과 헤어스타일의 인간을 생성할 수 있다.
포즈, 시점, 형태를 자유롭게 제어할 수 있다.
여러 개의 부위를 조합하여 새로운 인간을 생성할 수 있다.
특정 부위의 의상을 편집할 수 있다.
3D 가상 착용이 가능하다.
인용구
"기존 방식은 인간 신체의 관절 구조와 의미를 무시하고 1D 잠재 공간에서 인간을 모델링하지만, 우리는 더 높은 차원의 잠재 공간을 탐구한다."
"구조화된 자동 디코더와 잠재 확산 모델을 통해 고품질의 다양한 3D 인간 생성이 가능하다."
"구조화된 잠재 공간을 활용하여 다양한 수준의 제어 가능한 3D 인간 생성 및 편집이 가능하다."