핵심 개념
다양한 관점의 입력 이미지를 활용하여 새로운 관점의 이미지와 3D 객체를 생성할 수 있는 유연하고 확장 가능한 프레임워크를 제안한다.
초록
이 논문은 DreamComposer라는 프레임워크를 제안한다. DreamComposer는 기존의 단일 관점 기반 3D 객체 생성 모델에 다중 관점 조건을 추가하여 보다 제어 가능하고 일관성 있는 3D 객체 생성을 가능하게 한다.
DreamComposer는 3단계로 구성된다:
- 타겟 관점 인지 3D 리프팅: 다중 관점 입력 이미지를 3D 삼면체 표현으로 변환하되, 타겟 관점에 초점을 맞춘다.
- 다중 관점 특징 융합: 다양한 관점의 3D 특징을 합성하여 타겟 관점의 2D 특징을 생성한다.
- 타겟 관점 특징 주입: 생성된 타겟 관점 특징을 사전 학습된 확산 모델에 주입하여 새로운 관점의 이미지와 3D 객체를 생성한다.
DreamComposer는 기존 모델인 Zero-1-to-3와 SyncDreamer에 통합되어 다중 관점 조건을 활용할 수 있게 한다. 실험 결과, DreamComposer는 기존 모델 대비 더 제어 가능하고 일관성 있는 3D 객체 생성 결과를 보여준다.
통계
다양한 관점의 입력 이미지를 활용하면 생성되는 3D 객체의 형태와 질감을 더 잘 제어할 수 있다.
단일 관점 입력 대비 PSNR은 약 4dB, SSIM은 약 0.05, LPIPS는 약 0.05 향상되었다.
인용구
"DreamComposer는 기존 모델에 다중 관점 조건을 추가하여 보다 제어 가능하고 일관성 있는 3D 객체 생성을 가능하게 한다."
"DreamComposer는 타겟 관점 인지 3D 리프팅, 다중 관점 특징 융합, 타겟 관점 특징 주입의 3단계로 구성된다."