Das vorgeschlagene SuPerPM-Framework basiert auf dem SuPer-Framework und integriert einen lernbasierten Ansatz zur Punktwolkenübereinstimmung, um die Datenassoziation bei der Gewebeverfolgung und -rekonstruktion zu verbessern.
Zunächst wird eine kurze Einführung in das SuPer-Framework gegeben, das die Rekonstruktion und Verfolgung der gesamten Szene, einschließlich der chirurgischen Instrumente und des verformbaren Weichgewebes, ermöglicht. Der Schwerpunkt liegt auf der Gewebeverfolgung.
Um die Datenassoziation zu verbessern, wird ein lernbasiertes Punktwolkenübereinstimmungsmodell namens Lepard in das SuPer-Framework integriert. Lepard extrahiert mehrstufige geometrische Merkmale und verwendet einen Transformer-Block, um die Punktwolkenmerkmale weiter zu verbessern. Dadurch kann es große Deformationen effektiv handhaben.
Da chirurgische Szenen oft flache Gewebeoberflächen mit weniger ausgeprägten Merkmalen aufweisen, wird eine Pipeline vorgestellt, um Trainingsdaten für die Feinabstimmung von Lepard zu generieren. Dazu wird die Position-Based-Dynamics-Simulation verwendet, um physikalisch korrekte Zuordnungen zwischen verformten Punktwolkenpaaren zu erstellen.
Umfangreiche Experimente auf öffentlichen und neu erhobenen endoskopischen Datensätzen zeigen, dass das vorgeschlagene SuPerPM-Framework die Leistung des Baselines SuPer übertrifft und auch besser abschneidet als andere state-of-the-art-Methoden zur Verfolgung und Rekonstruktion deformierbarer Szenen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Shan Lin,Alb... at arxiv.org 03-29-2024
https://arxiv.org/pdf/2309.13863.pdfDeeper Inquiries