텍스트를 기반으로 한 3D 생성에 대한 점수 증류 샘플링의 정량적 평가
점수 증류 샘플링 방법을 사용한 텍스트 기반 3D 생성 모델의 평가와 개선에 대한 연구 결과
3D 가우시안 표현을 활용한 텍스트 기반 3D 생성
본 연구는 텍스트 입력을 바탕으로 3D 가우시안 표현을 직접 생성하는 새로운 방법을 제안한다. 구조화된 볼륨 형태의 가우시안 표현(GaussianVolume)을 도입하고, 이를 효율적으로 생성하기 위한 단계적 파이프라인을 제안한다.
효율적인 가짜 이미지 확산을 통한 텍스트 기반 3D 생성
PI3D는 사전 학습된 텍스트-이미지 확산 모델의 지식을 활용하여 텍스트 프롬프트에서 고품질의 3D 형상을 빠르게 생성할 수 있는 프레임워크입니다.
즉시 텍스트에서 3D 생성
제안된 Instant3D 프레임워크는 텍스트 프롬프트에 대한 고품질 3D 객체를 단일 순방향 네트워크 실행으로 생성할 수 있다.
텍스트에서 3D 생성을 위한 검색 기반 점수 증류
검색된 3D 자산을 활용하여 3D 기하학적 일관성과 생성 품질을 향상시키는 새로운 프레임워크를 제안한다.
고품질 텍스트-3D 생성을 위한 변분 분포 매핑: DreamMapping
본 연구는 기존 SDS 기반 텍스트-3D 생성 방법의 한계를 분석하고, 이를 해결하기 위해 변분 분포 매핑(VDM)과 분포 계수 점진적 감소(DCA) 기법을 제안한다. VDM은 렌더링된 이미지를 확산 모델의 출력이 열화된 형태로 간주하여 효율적으로 변분 분포를 구축하며, DCA는 시간 의존적 계수를 적용하여 생성 품질을 향상시킨다. 이를 바탕으로 개발된 DreamMapping 프레임워크는 기존 방법 대비 높은 품질과 효율성을 보여준다.
신속한 텍스트 기반 3D 생성을 위한 삼면 주의 집중 기법
제안된 TPA3D 모델은 텍스트 설명에 정확하게 부합하는 고품질 3D 텍스처 메시를 신속하게 생성할 수 있다.
텍스트 기반 3D 생성을 위한 적대적 점수 증류: 점수 증류와 GAN의 만남
기존 점수 증류 방법은 분류기 없는 안내(CFG) 척도에 민감하여 작은 CFG 척도에서는 과도한 부드러움 또는 불안정성이 나타나고 큰 경우에는 과포화 현상이 발생한다. 이러한 문제를 설명하고 분석하기 위해 우리는 점수 증류 샘플링(SDS)의 유도를 다시 살펴보고 기존 점수 증류를 Wasserstein 생성적 적대 신경망(WGAN) 패러다임으로 해석한다. WGAN 패러다임에 따르면 기존 점수 증류는 고정된 최적이 아닌 판별기를 사용하거나 불완전한 판별기 최적화를 수행하여 척도 민감성 문제가 발생한다. 우리는 최적화 가능한 판별기를 유지하고 완전한 최적화 목적함수를 사용하는 적대적 점수 증류(ASD)를 제안한다. 실험 결과 제안된 ASD가 기존 방법에 비해 2D 증류와 텍스트-3D 작업에서 우수한 성능을 보인다. 또한 우리의 패러다임을 이미지 편집 작업에 확장하여 경쟁력 있는 결과를 얻었다.
텍스트 기반 3D 생성을 위한 삼각형 메시의 조인트 조작 및 텍스처링
DreamMesh는 완전히 명시적인 3D 표현인 삼각형 메시를 기반으로 하여 텍스트 기반 3D 생성을 수행합니다. 이를 위해 DreamMesh는 조밀한 메시 변형과 정교한 텍스처링을 통해 고품질의 3D 모델을 생성합니다.
