Das InstantMesh-Framework besteht aus zwei Hauptkomponenten: einem Multiview-Diffusionsmodell und einem Sparse-View-Rekonstruktionsmodell.
Das Multiview-Diffusionsmodell erzeugt aus einem einzigen Eingangsbild 3D-konsistente Mehrfachansichten. Diese werden dann in das Sparse-View-Rekonstruktionsmodell eingegeben, um ein hochqualitatives 3D-Mesh zu erstellen.
Das Sparse-View-Rekonstruktionsmodell basiert auf einer skalierbaren Transformer-Architektur und nutzt eine differenzierbare Iso-Oberflächen-Extraktionskomponente, um die Trainingseffizienz zu erhöhen und direkt geometrische Informationen wie Tiefen und Normalen zu verwenden.
Durch die Kombination dieser Techniken kann InstantMesh innerhalb von 10 Sekunden hochwertige 3D-Meshes aus einem einzigen Bild generieren. Die Experimente zeigen, dass InstantMesh die neuesten Baselines sowohl qualitativ als auch quantitativ deutlich übertrifft.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies