핵심 개념
Durch die Integration von visuellen Daten und taktilen Sensordaten in einem 3D-Gauß-Splatting-Rahmenwerk können wir eine präzise Geometrierekonstruktion und Synthese neuartiger Ansichten für herausfordernde Oberflächen erreichen.
초록
Die Studie präsentiert einen neuartigen Ansatz zur Kombination von visuellen und taktilen Sensordaten für die 3D-Rekonstruktion und Synthese neuartiger Ansichten von Objekten mit herausfordernden Oberflächen wie glänzenden oder reflektierenden Materialien.
Der Kernaspekt ist die Integration von taktilen Informationen in ein 3D-Gauß-Splatting-Modell. Durch die Optimierung der Gauß-Primitive an den Kontaktpunkten auf der Oberfläche kann die Rekonstruktionsgenauigkeit deutlich verbessert werden, insbesondere im Vergleich zu rein visionsbasierten Methoden.
Die Autoren zeigen, dass der Ansatz mit nur wenigen Ansichten (5) und unter Verwendung von taktilen Daten eine höhere Rekonstruktionsqualität erreicht als führende Methoden wie NeRO und Ref-NeRF, die deutlich mehr Rechenzeit benötigen. Darüber hinaus führt die Kombination von Taktilsensorik und einer kantenbasierten Glättungsregularisierung zu einer glatten und präzisen Oberflächenrekonstruktion.
Die Evaluation auf Datensätzen mit glänzenden und reflektierenden Oberflächen sowie Experimente in der realen Welt belegen die Leistungsfähigkeit des Verfahrens.
통계
Die Rekonstruktionsgenauigkeit (Chamfer-Distanz) unseres Verfahrens beträgt im Durchschnitt 0,0034 auf dem Glossy Synthetic-Datensatz, verglichen mit 0,0042 für NeRO und 0,0075 für 3DGS.
Bei nur 5 Ansichten erreicht unser Verfahren eine durchschnittliche Chamfer-Distanz von 0,0026, während 3DGS 0,0111 und NeRO 0,0586 aufweisen.
Die Bildqualität (PSNR) unseres Verfahrens liegt bei 20,55 im 5-Ansichten-Szenario, verglichen mit 13,78 für NeRO und 20,08 für 3DGS.
인용구
"Durch die Integration von taktilen Informationen in ein 3D-Gauß-Splatting-Modell können wir eine präzisere Oberflächenrekonstruktion und Synthese neuartiger Ansichten erreichen, insbesondere für herausfordernde Oberflächen wie glänzende oder reflektierende Materialien."
"Der Schlüsselaspekt ist die Optimierung der Gauß-Primitive an den Kontaktpunkten auf der Oberfläche, was die Rekonstruktionsgenauigkeit deutlich verbessert im Vergleich zu rein visionsbasierten Methoden."
"Unser Verfahren erreicht mit nur 5 Ansichten eine höhere Rekonstruktionsqualität als führende Methoden wie NeRO und Ref-NeRF, die deutlich mehr Rechenzeit benötigen."