Make-Your-3D는 최근 3D 생성 모델의 강력한 기능을 활용하여 사용자가 단일 이미지와 자연어 설명을 통해 3D 콘텐츠 생성 과정을 안내할 수 있는 새로운 수준의 창의적 유연성을 제공한다.
핵심 아이디어는 다중 뷰 확산 모델과 주제 특정 2D 생성 모델의 분포를 조화시켜 원하는 3D 주제의 분포와 일치시키는 것이다. 구체적으로 각 모델이 서로 학습하는 공동 진화 프레임워크를 설계하여 분포의 편차를 줄인다.
입력된 단일 주제 이미지에 대해 먼저 다중 뷰 확산 모델을 통해 3D 공간으로 변환하고, 이를 활용하여 2D 개인화 모델을 최적화한다. 그 다음 원래의 2D 개인화 모델을 사용하여 다양한 주제 이미지를 생성하고, 이를 바탕으로 다중 뷰 확산 모델을 최적화한다. 마지막으로 두 최적화된 모델을 연결하여 단일 입력 이미지에서 일관된 주제 기반 3D 결과를 생성한다.
실험 결과, Make-Your-3D는 DreamBooth3D 대비 36배 빠른 속도로 고품질의 주제 기반 3D 자산을 생성할 수 있으며, 주제 충실도와 텍스트 프롬프트 충실도가 크게 향상되었음을 보여준다.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Fangfu Liu,H... pada arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.09625.pdfPertanyaan yang Lebih Dalam