Das InstantMesh-Framework besteht aus zwei Hauptkomponenten: einem Multiview-Diffusionsmodell und einem Sparse-View-Rekonstruktionsmodell.
Das Multiview-Diffusionsmodell erzeugt aus einem einzigen Eingangsbild 3D-konsistente Mehrfachansichten. Diese werden dann in das Sparse-View-Rekonstruktionsmodell eingegeben, um ein hochqualitatives 3D-Mesh zu erstellen.
Das Sparse-View-Rekonstruktionsmodell basiert auf einer skalierbaren Transformer-Architektur und nutzt eine differenzierbare Iso-Oberflächen-Extraktionskomponente, um die Trainingseffizienz zu erhöhen und direkt geometrische Informationen wie Tiefen und Normalen zu verwenden.
Durch die Kombination dieser Techniken kann InstantMesh innerhalb von 10 Sekunden hochwertige 3D-Meshes aus einem einzigen Bild generieren. Die Experimente zeigen, dass InstantMesh die neuesten Baselines sowohl qualitativ als auch quantitativ deutlich übertrifft.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Jiale Xu,Wei... om arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.07191.pdfDiepere vragen