단일 이미지에서 고품질 3D 모델을 생성하기 위해 압축된 잠재 공간과 이미지 및 형상 임베딩을 활용한 두 단계 확산 모델을 제안한다.
본 연구는 텍스트 입력을 바탕으로 3D 가우시안 표현을 직접 생성하는 새로운 방법을 제안한다. 구조화된 볼륨 형태의 가우시안 표현(GaussianVolume)을 도입하고, 이를 효율적으로 생성하기 위한 단계적 파이프라인을 제안한다.
다중 시점 확산 모델은 주어진 텍스트 프롬프트에 대해 일관된 다중 시점 이미지를 생성할 수 있다. 2D 및 3D 데이터를 학습하여 2D 확산 모델의 일반화 능력과 3D 렌더링의 일관성을 모두 달성할 수 있다.
제안하는 LN3Diff 모델은 효율적인 3D 확산 학습을 통해 고속, 고품질, 일반적인 조건부 3D 생성을 가능하게 한다.
GetMesh는 다양한 범주에 걸쳐 풍부하고 날카로운 세부 정보를 가진 메시를 생성할 수 있으며, 메시의 전역/지역 토폴로지 변경, 메시 부품 추가/제거, 범주 간 메시 부품 결합 등 세부적이고 효율적이며 강력한 제어를 가능하게 한다.
제한된 3D 데이터를 활용하여 텍스트 개념의 동적 범위를 모델링함으로써 개방형 3D 생성 능력을 향상시킬 수 있다.