Keskeiset käsitteet
단일 RGB 입력 초상화로부터 일관성 있는 3D 사실적 새로운 관점을 합성할 수 있는 조건부 확산 모델을 제안한다.
Tiivistelmä
이 논문은 단일 초상화로부터 3D 일관성 있는 사실적 새로운 관점을 합성하는 DiffPortrait3D라는 조건부 확산 모델을 제안한다.
- 기존 3D GAN 기반 접근법은 제한적인 데이터셋에 의해 한계를 보이지만, 본 방법은 대규모 이미지 데이터셋으로 사전 학습된 2D 확산 모델의 일반화 능력을 활용한다.
- 외관과 카메라 관점을 명시적으로 분리하여 제어하는 모듈을 제안하여, 다양한 초상화와 관점에 대해 효과적으로 작동한다.
- 다중 관점 간 일관성을 높이기 위해 교차 관점 주의 메커니즘과 3D 인지 노이즈 생성 기법을 도입한다.
- 실험 결과, 제안 모델은 기존 방법들을 크게 능가하는 시각적 품질, 유사도, 일관성을 보여준다.
Tilastot
단일 초상화로부터 3D 일관성 있는 사실적 새로운 관점을 합성할 수 있다.
다양한 초상화 외관, 표정, 카메라 관점, 스타일에 대해 효과적으로 작동한다.
외관과 카메라 관점을 명시적으로 분리하여 제어할 수 있다.
다중 관점 간 일관성을 향상시킬 수 있다.
Lainaukset
"단일 RGB 입력 초상화로부터 일관성 있는 3D 사실적 새로운 관점을 합성할 수 있는 조건부 확산 모델을 제안한다."
"외관과 카메라 관점을 명시적으로 분리하여 제어하는 모듈을 제안하여, 다양한 초상화와 관점에 대해 효과적으로 작동한다."
"다중 관점 간 일관성을 높이기 위해 교차 관점 주의 메커니즘과 3D 인지 노이즈 생성 기법을 도입한다."