In dieser Arbeit wird ein effizientes NeRF-basiertes Verfahren zur bildbasierten Posenschätzung von Objekten ohne CAD-Modell vorgestellt. Der Schlüssel ist die Kombination von Bildmerkmalsabgleich mit NeRF, um die Pose in einem einzigen Schritt direkt aus 2D-3D-Korrespondenzen zu berechnen.
Zunächst wird ein NeRF-Modell trainiert, um die Szene darzustellen. Dann werden 2D-Merkmale zwischen dem Zielbildund einem vom NeRF gerenderten Bild abgeglichen. Mithilfe der vom NeRF gerenderten Tiefe können diese 2D-Merkmale in 3D-Punkte umgerechnet werden, woraus sich 2D-3D-Korrespondenzen ergeben. Aus diesen lässt sich die Pose dann direkt über PnP berechnen.
Um die Genauigkeit der 2D-3D-Korrespondenzen weiter zu verbessern, wird eine Strategie zur Erkennung und Filterung inkonsistenter 3D-Punkte eingeführt. Außerdem wird eine merkmalspunktbasierte Strategie zur Verbesserung der Robustheit gegenüber Verdeckungen vorgeschlagen.
Die Experimente zeigen, dass unser Verfahren deutlich effizienter ist als bisherige NeRF-basierte Methoden und in Echtzeit mit 6 FPS arbeiten kann, während es gleichzeitig eine höhere Genauigkeit und Robustheit gegenüber Verdeckungen erreicht.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
الرؤى الأساسية المستخلصة من
by Ronghan Chen... في arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00891.pdfاستفسارات أعمق