In dieser Arbeit adressieren wir die Aufgabe der Handlungserkennung aus Sequenzen von 3D-Punktwolken. Wir schlagen eine neuartige Pipeline vor, bei der Punkte in zeitlich evolvierende Patches gruppiert werden, die diskriminierende Aktionsdynamiken erfassen.
Zunächst extrahieren wir lokale zeitliche Punktpatchs (t-Patches), die die Bewegung einer Punktregion im Zeitverlauf widerspiegeln. Dann lernen wir eine t-Patch-Darstellung mit Hilfe einer neuartigen hierarchischen Architektur, die räumliche Merkmale im zeitlichen Bereich integriert. Schließlich erhalten wir eine Aktionsvorhersage für jeden Frame in einer Sequenz, indem wir mehrere t-Patch-Darstellungen aggregieren.
Diese Pipeline überwindet den Bedarf an Punktkorrespondenzen über die Zeit, Gitterstruktur, Punktreihenfolge und eine feste Anzahl von Punkten in jedem Frame. Intuitiv spiegeln Patches lokale Oberflächenverformungen wider und sind robuster gegenüber Punktkorrespondenzfehlern.
Unsere Experimente zeigen, dass die 3DinAction-Methode im Vergleich zu bestehenden State-of-the-Art-Methoden signifikante Leistungssteigerungen von 13% und 7% in der Genauigkeit auf den DFAUST- und IKEA ASM-Datensätzen erzielt.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Yizhak Ben-S... о arxiv.org 04-01-2024
https://arxiv.org/pdf/2303.06346.pdfГлибші Запити