Core Concepts
부분 3D 스캔으로부터 고해상도, 사실적인 3D 형상을 완성하는 잠재 확산 모델 기반의 접근법을 제안한다.
Abstract
이 논문은 부분 3D 스캔으로부터 완성된 3D 형상을 생성하는 접근법을 소개한다. 주요 내용은 다음과 같다:
- 3D 데이터를 저차원 잠재 공간으로 압축하는 Vector Quantized Variational AutoEncoder (VQ-VAE)를 활용하여 고해상도 3D 형상을 효율적으로 처리할 수 있다.
- VQ-VAE 학습 시 2D 깊이 및 법선 정보를 활용하여 3D 형상의 세부 기하학적 특징을 잘 포착할 수 있다.
- 잠재 확산 모델에 이미지 기반 조건과 부분 3D 스캔 기반 공간 조건을 결합하여, 사실적이고 고품질의 3D 형상 완성 결과를 생성할 수 있다.
- 단일 모델로 다양한 객체 클래스에 대한 3D 형상 완성이 가능하여, 기존 방법들의 클래스 특화 한계를 극복한다.
Stats
제안 모델은 기존 방법 대비 3D-EPN 벤치마크에서 평균 l1 오차를 12% 낮추었다.
알려지지 않은 객체 클래스에 대해서도 기존 방법과 유사한 성능을 보였다.
Quotes
"부분 3D 스캔으로부터 사실적이고 고품질의 완성된 3D 형상을 생성하는 것이 핵심 목표이다."
"단일 모델로 다양한 객체 클래스에 대한 3D 형상 완성이 가능하도록 하는 것이 중요한 개선점이다."