DreamComposer besteht aus drei Hauptkomponenten:
Target-Aware 3D Lifting: Hier werden die 2D-Merkmale der Mehrfachansichten in 3D-Darstellungen (Tri-Planes) überführt. Dabei wird der Fokus auf die Merkmale der Zielansicht gelegt.
Multi-View Feature Fusion: Die 3D-Merkmale der verschiedenen Ansichten werden mit einem neuartigen komponierten Volumenrendering-Ansatz zu 2D-Merkmalen der Zielansicht fusioniert.
Target-View Feature Injection: Die extrahierten Zielansichts-Merkmale werden in das Diffusionsmodell injiziert, um die Mehransichts-Bedingungen zu berücksichtigen.
DreamComposer kann flexibel in bestehende Modelle wie Zero-1-to-3 und SyncDreamer integriert werden, um deren Fähigkeiten zur kontrollierten Neuansichtsynthese und 3D-Objektrekonstruktion zu erweitern. Die Experimente zeigen, dass DreamComposer die Qualität und Kontrolle der generierten Bilder und 3D-Objekte deutlich verbessert.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Yunhan Yang,... às arxiv.org 03-27-2024
https://arxiv.org/pdf/2312.03611.pdfPerguntas Mais Profundas