DreamScape는 텍스트 설명만으로 고품질의 3D 장면을 생성할 수 있는 새로운 접근 방식을 제안한다. 핵심 구성 요소인 3D 가우시안 가이드(3DG2)는 대형 언어 모델을 활용하여 장면의 의미 요소와 공간적 관계를 파악한다. 이를 바탕으로 지역 최적화와 전역 최적화를 통해 장면을 생성한다.
지역 최적화 단계에서는 점진적 크기 제어 기법을 사용하여 객체의 크기와 밀도를 장면에 맞게 조절한다. 전역 최적화 단계에서는 객체 간 충돌 관계를 모델링하여 물리적 정확성과 전체적인 현실감을 높인다. 또한 비산 객체(예: 비, 눈, 꽃잎)를 효과적으로 표현하기 위해 희소 초기화와 밀집화 전략을 도입한다.
실험 결과, DreamScape는 텍스트 프롬프트만으로 고품질의 3D 장면을 생성할 수 있으며, 기존 방법들에 비해 우수한 성능을 보인다. 또한 생성된 결과에 대한 편집 기능을 제공하여 사용자 활용도를 높였다.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Xuening Yuan... klo arxiv.org 04-16-2024
https://arxiv.org/pdf/2404.09227.pdfSyvällisempiä Kysymyksiä