Das InstantMesh-Framework besteht aus zwei Hauptkomponenten: einem Multiview-Diffusionsmodell und einem Sparse-View-Rekonstruktionsmodell.
Das Multiview-Diffusionsmodell erzeugt aus einem einzigen Eingangsbild 3D-konsistente Mehrfachansichten. Diese werden dann in das Sparse-View-Rekonstruktionsmodell eingegeben, um ein hochqualitatives 3D-Mesh zu erstellen.
Das Sparse-View-Rekonstruktionsmodell basiert auf einer skalierbaren Transformer-Architektur und nutzt eine differenzierbare Iso-Oberflächen-Extraktionskomponente, um die Trainingseffizienz zu erhöhen und direkt geometrische Informationen wie Tiefen und Normalen zu verwenden.
Durch die Kombination dieser Techniken kann InstantMesh innerhalb von 10 Sekunden hochwertige 3D-Meshes aus einem einzigen Bild generieren. Die Experimente zeigen, dass InstantMesh die neuesten Baselines sowohl qualitativ als auch quantitativ deutlich übertrifft.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Jiale Xu,Wei... lúc arxiv.org 04-11-2024
https://arxiv.org/pdf/2404.07191.pdfYêu cầu sâu hơn