Die Studie präsentiert einen neuartigen Ansatz zur Kombination von visuellen und taktilen Sensordaten für die 3D-Rekonstruktion und Synthese neuartiger Ansichten von Objekten mit herausfordernden Oberflächen wie glänzenden oder reflektierenden Materialien.
Der Kernaspekt ist die Integration von taktilen Informationen in ein 3D-Gauß-Splatting-Modell. Durch die Optimierung der Gauß-Primitive an den Kontaktpunkten auf der Oberfläche kann die Rekonstruktionsgenauigkeit deutlich verbessert werden, insbesondere im Vergleich zu rein visionsbasierten Methoden.
Die Autoren zeigen, dass der Ansatz mit nur wenigen Ansichten (5) und unter Verwendung von taktilen Daten eine höhere Rekonstruktionsqualität erreicht als führende Methoden wie NeRO und Ref-NeRF, die deutlich mehr Rechenzeit benötigen. Darüber hinaus führt die Kombination von Taktilsensorik und einer kantenbasierten Glättungsregularisierung zu einer glatten und präzisen Oberflächenrekonstruktion.
Die Evaluation auf Datensätzen mit glänzenden und reflektierenden Oberflächen sowie Experimente in der realen Welt belegen die Leistungsfähigkeit des Verfahrens.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Mauro Comi,A... alle arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20275.pdfDomande più approfondite