Der Artikel stellt einen allgemeinen generativen Rahmen vor, der diverse visuelle Inhalte wie mehrdeutige Bilder, Panoramabilder, Mesh-Texturen und Gaussian-Splat-Texturen durch Synchronisierung mehrerer Diffusionsprozesse erzeugt.
Der Kern der Idee ist es, die Denoising-Prozesse in verschiedenen Instanzräumen (z.B. Bildraum, Panoramaraum, Texturraum) durchzuführen und diese Prozesse im kanonischen Raum zu synchronisieren. Der Artikel untersucht verschiedene Möglichkeiten, wie diese Synchronisierung erfolgen kann, und zeigt, dass der Ansatz, bei dem die Ausgaben von Tweedie's Formel in den Instanzräumen gemittelt werden (SyncTweedies), die beste Leistung und die breiteste Anwendbarkeit bietet.
Die Autoren demonstrieren die Überlegenheit von SyncTweedies gegenüber anderen Synchronisierungsmethoden sowie optimierungsbasierten und iterativen Aktualisierungsmethoden in verschiedenen Anwendungen wie der Erzeugung mehrdeutiger Bilder, Panoramabilder, Mesh-Texturen und Gaussian-Splat-Texturen.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Jaihoon Kim,... um arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14370.pdfTiefere Fragen