Der Artikel präsentiert Magic-Boost, ein Multi-View-konditioniertes Diffusionsmodell, das pseudo-generierte Multi-View-Bilder als Eingabe verwendet und in der Lage ist, hochkonsistente Neuansichten zu synthetisieren und präzise SDS-Anleitung während des Optimierungsprozesses bereitzustellen.
Das Modell baut auf der Stable Diffusion-Architektur auf und führt mehrere Änderungen durch, um dichte lokale Merkmale effizient aus Multi-View-Eingaben zu extrahieren und Interaktionen und Informationsaustausch über verschiedene Ansichten hinweg zu ermöglichen. Um den Trainingsprozess zu verbessern, werden verschiedene Datenerweiterungsstrategien eingeführt, darunter zufälliges Weglassen, zufälliges Skalieren und Rauschstörung.
Darüber hinaus wird ein neuartiger Anchor Iterative Update-Verlust präsentiert, um das Übersättigungsproblem von SDS zu lösen und die Generierung von hochqualitativen Inhalten mit realistischen Texturen zu ermöglichen. Die umfassenden Experimente zeigen, dass Magic-Boost die Qualität der groben Eingaben deutlich verbessert und innerhalb kurzer Zeit (ca. 15 Minuten) hochwertige 3D-Vermögenswerte mit detaillierten Geometrien und realistischen Texturen generiert.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
الرؤى الأساسية المستخلصة من
by Fan Yang,Jia... في arxiv.org 04-10-2024
https://arxiv.org/pdf/2404.06429.pdfاستفسارات أعمق