Core Concepts
Latte3D ist ein skalierbarer Ansatz zur amortisierten Erzeugung von hochqualitativen 3D-Inhalten aus Textbeschreibungen, der eine schnelle Generierung in 400 ms ermöglicht.
Abstract
Latte3D ist ein Verfahren zur effizienten und hochqualitativen Text-zu-3D-Synthese, das folgende Schlüsselpunkte umfasst:
Latte3D verwendet eine skalierbare Architektur, die sowohl die Geometrie als auch die Textur amortisiert, um hochdetaillierte texturierte Meshes in einem einzigen Durchlauf zu erzeugen.
Um die Robustheit gegenüber vielfältigen und komplexen Trainingsbeschreibungen zu verbessern, nutzt Latte3D 3D-Daten während des Trainings durch 3D-bewusste Diffusions-Priors, Formregularisierung und Modellinitialisierung.
Latte3D generiert 3D-Objekte in 400 ms und ermöglicht eine optionale leichtgewichtige Test-Zeit-Optimierung, um die Qualität von Geometrie und Texturen weiter zu verbessern.
Latte3D kann auch für die Stilisierung von 3D-Inhalten eingesetzt werden, indem es über eine große Menge von Stil-Beschreibungen amortisiert wird.
Stats
Latte3D generiert 3D-Objekte in etwa 400 ms auf einer einzelnen A6000 GPU.
Latte3D wurde auf einem Datensatz von 101.608 Textbeschreibungen trainiert.
Quotes
"Latte3D amortisiert sowohl die Erzeugung neuronaler Felder als auch die oberflächenbasierte Verfeinerung, um in einem einzigen Durchlauf hochdetaillierte texturierte Meshes zu erzeugen."
"Um die Robustheit gegenüber vielfältigen und komplexen Trainingsbeschreibungen zu verbessern, nutzt Latte3D 3D-Daten während des Trainings durch 3D-bewusste Diffusions-Priors, Formregularisierung und Modellinitialisierung."