מושגי ליבה
부분 3D 스캔으로부터 고해상도, 사실적인 3D 모양을 완성하는 잠재 확산 모델 기반 접근법을 제안한다.
תקציר
이 논문은 부분 3D 스캔으로부터 완성된 3D 모양을 생성하는 접근법을 소개한다. 주요 내용은 다음과 같다:
3D 데이터를 저차원 잠재 공간으로 압축하는 Vector Quantized Variational AutoEncoder (VQ-VAE) 를 활용하여 고해상도 3D 모양 처리를 가능하게 한다.
VQ-VAE 학습 시 3D TSDF 데이터와 함께 2D 깊이 및 법선 렌더링을 활용한 추가 감독을 통해 더 나은 3D 모양 복원 성능을 달성한다.
잠재 확산 모델에 이미지 기반 조건화와 부분 스캔 기반 공간 조건화를 결합하여, 사실적이고 고품질의 3D 모양 완성 결과를 생성한다.
단일 모델로 다양한 객체 클래스에 대한 3D 모양 완성을 수행할 수 있어, 기존 방법들의 클래스 별 모델 학습 필요성을 해결한다.
정량적 평가에서 기존 최신 방법들을 능가하는 성능을 보이며, 특히 알려지지 않은 객체 클래스에 대해서도 우수한 일반화 능력을 입증한다.
סטטיסטיקה
부분 스캔 TSDF 데이터와 완성된 TSDF 데이터 간 L1 오차가 0.047로 기존 최신 방법 대비 12% 감소
알려지지 않은 객체 클래스에 대한 Chamfer 거리와 IoU가 각각 0.025, 0.55로 기존 최신 방법 대비 개선