BrightDreamer는 텍스트 프롬프트에 대해 3D 가우시안을 생성할 수 있는 일반적이고 효율적인 프레임워크를 제안한다.
먼저 고정된 앵커 포지션을 사용하여 텍스트 프롬프트에 따라 3D 형상을 변형하는 Text-guided Shape Deformation (TSD) 네트워크를 설계한다. 이를 통해 3D 가우시안의 중심 좌표를 얻을 수 있다.
다음으로 Text-guided Triplane Generator (TTG)를 설계하여 3D 객체의 공간적 특징을 생성한다. TTG는 기존 트라이플레인 생성 방식의 공간적 불균일성과 텍스트 이해 문제를 해결한다.
마지막으로 Gaussian Decoder를 통해 3D 가우시안의 나머지 속성(크기, 회전, 불투명도, SH 계수)을 생성한다.
BrightDreamer는 복잡한 텍스트 프롬프트에 대해 강력한 이해 능력을 보이며, 77ms의 빠른 생성 속도와 705 FPS의 렌더링 속도를 달성한다. 또한 생성된 3D 가우시안은 사용자의 상상력과 창의성을 확장할 수 있는 보간 기능을 제공한다.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Lutao Jiang,... ב- arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11273.pdfשאלות מעמיקות