Make-Your-3D ist ein neuartiges Co-Evolution-Framework für schnelle und konsistente subjektgesteuerte 3D-Inhaltserstellung. Das Kernkonzept ist es, die Verteilung eines identitätsspezifischen 2D-Generierungsmodells und eines Multi-View-Diffusionsmodells aufeinander abzustimmen, um sie an die Verteilung des gewünschten 3D-Subjekts anzupassen.
Konkret umfasst das Framework zwei Optimierungsschritte:
Identity-Aware Optimization: Hier wird das 2D-Personalisierungsmodell durch eine Multi-View-basierte Identitätsoptimierung verbessert, um die Identität des Subjekts besser zu erfassen.
Subject-Prior Optimization: Hier wird das Multi-View-Diffusionsmodell durch eine Subjekt-Prior-Optimierung verbessert, um subjektspezifische Informationen in das Modell einzubinden.
Durch diese Co-Evolution-Optimierung können hochwertige, konsistente und subjektspezifische 3D-Inhalte aus nur einem einzigen Eingangsbild des Subjekts innerhalb von 5 Minuten erstellt werden. Dies ist 36-mal schneller als der Ansatz von DreamBooth3D.
Die Experimente zeigen, dass unser Verfahren in Bezug auf Qualität, Auflösung und Konsistenz deutlich besser abschneidet als DreamBooth3D und auch eine hohe Übereinstimmung mit den Eingabetextbeschreibungen aufweist.
To Another Language
from source content
arxiv.org
Djupare frågor