Das InstantMesh-Framework besteht aus zwei Hauptkomponenten: einem Multiview-Diffusionsmodell und einem Sparse-View-Rekonstruktionsmodell.
Das Multiview-Diffusionsmodell erzeugt aus einem einzigen Eingangsbild 3D-konsistente Mehrfachansichten. Diese werden dann in das Sparse-View-Rekonstruktionsmodell eingegeben, um ein hochqualitatives 3D-Mesh zu erstellen.
Das Sparse-View-Rekonstruktionsmodell basiert auf einer skalierbaren Transformer-Architektur und nutzt eine differenzierbare Iso-Oberflächen-Extraktionskomponente, um die Trainingseffizienz zu erhöhen und direkt geometrische Informationen wie Tiefen und Normalen zu verwenden.
Durch die Kombination dieser Techniken kann InstantMesh innerhalb von 10 Sekunden hochwertige 3D-Meshes aus einem einzigen Bild generieren. Die Experimente zeigen, dass InstantMesh die neuesten Baselines sowohl qualitativ als auch quantitativ deutlich übertrifft.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Jiale Xu,Wei... um arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.07191.pdfTiefere Fragen