Die Studie präsentiert einen neuartigen Ansatz zur Kombination von visuellen und taktilen Sensordaten für die 3D-Rekonstruktion und Synthese neuartiger Ansichten von Objekten mit herausfordernden Oberflächen wie glänzenden oder reflektierenden Materialien.
Der Kernaspekt ist die Integration von taktilen Informationen in ein 3D-Gauß-Splatting-Modell. Durch die Optimierung der Gauß-Primitive an den Kontaktpunkten auf der Oberfläche kann die Rekonstruktionsgenauigkeit deutlich verbessert werden, insbesondere im Vergleich zu rein visionsbasierten Methoden.
Die Autoren zeigen, dass der Ansatz mit nur wenigen Ansichten (5) und unter Verwendung von taktilen Daten eine höhere Rekonstruktionsqualität erreicht als führende Methoden wie NeRO und Ref-NeRF, die deutlich mehr Rechenzeit benötigen. Darüber hinaus führt die Kombination von Taktilsensorik und einer kantenbasierten Glättungsregularisierung zu einer glatten und präzisen Oberflächenrekonstruktion.
Die Evaluation auf Datensätzen mit glänzenden und reflektierenden Oberflächen sowie Experimente in der realen Welt belegen die Leistungsfähigkeit des Verfahrens.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Mauro Comi,A... klo arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.20275.pdfSyvällisempiä Kysymyksiä