이 논문은 텍스트에서 3D 자산을 합성하는 문제를 다룹니다. 최근 확산 모델 기반의 텍스트-이미지 생성 기술이 발전하면서, 이를 3D 생성에 활용하려는 시도들이 있었습니다. 대표적인 기술로 Score Distillation Sampling (SDS)와 Variational Score Distillation (VSD)가 있습니다.
이 논문에서는 SDS와 VSD의 근본적인 한계인 높은 분산 문제를 해결하기 위해 Stein Score Distillation (SSD)를 제안합니다. SSD는 Stein 항등식을 활용하여 임의의 기저 함수로 구성된 제어 변수를 도입함으로써 분산을 효과적으로 감소시킬 수 있습니다. 이를 통해 텍스트에서 3D 자산을 생성하는 SteinDreamer 파이프라인을 구현하였습니다.
실험 결과, SteinDreamer는 기존 방법들에 비해 더 나은 시각적 품질과 빠른 수렴 속도를 보였습니다. 이는 SSD가 점수 증류 과정의 분산을 효과적으로 감소시켰기 때문입니다. 또한 SteinDreamer는 유연한 기저 함수 설계를 통해 다양한 지도 정보를 활용할 수 있는 장점이 있습니다.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Peihao Wang,... о arxiv.org 04-02-2024
https://arxiv.org/pdf/2401.00604.pdfГлибші Запити