Conceptos Básicos
단일 이미지에서 고품질 3D 모델을 생성하기 위해 압축된 잠재 공간과 이미지 및 형상 임베딩을 활용한 두 단계 확산 모델을 제안한다.
Resumen
이 논문은 단일 이미지에서 고품질 3D 모델을 생성하는 방법을 제안한다. 주요 내용은 다음과 같다:
트라이플레인 오토인코더:
컬러 포인트 클라우드를 입력으로 받아 3D 기하와 텍스처 정보를 압축된 트라이플레인 잠재 공간에 인코딩한다.
학습된 디코더를 통해 트라이플레인 잠재 공간에서 고품질 3D 모델을 복원한다.
3D 특징 볼륨을 활용한 3D 인지 크로스 어텐션 메커니즘을 도입하여 잠재 공간의 표현력을 향상시킨다.
확산 사전 모델:
이미지 임베딩을 입력으로 받아 형상 임베딩을 생성하는 확산 사전 모델을 학습한다.
이미지 임베딩과 형상 임베딩을 동시에 활용하여 3D 모델을 생성하는 것이 단순히 이미지 임베딩만을 활용하는 것보다 효과적이다.
트라이플레인 확산 모델:
이미지 임베딩과 사전 모델에서 생성된 형상 임베딩을 조건으로 트라이플레인 잠재 공간에서 3D 모델을 생성한다.
분류기 없는 가이드를 도입하여 생성 샘플의 다양성과 품질을 향상시킨다.
실험 결과, 제안 방법은 기존 방법 대비 더 높은 품질의 3D 모델을 빠르게 생성할 수 있음을 보여준다.
Estadísticas
단일 A100 GPU에서 7초 만에 고품질 3D 모델을 생성할 수 있다.