In dieser Arbeit adressieren wir die Aufgabe der Handlungserkennung aus Sequenzen von 3D-Punktwolken. Wir schlagen eine neuartige Pipeline vor, bei der Punkte in zeitlich evolvierende Patches gruppiert werden, die diskriminierende Aktionsdynamiken erfassen.
Zunächst extrahieren wir lokale zeitliche Punktpatchs (t-Patches), die die Bewegung einer Punktregion im Zeitverlauf widerspiegeln. Dann lernen wir eine t-Patch-Darstellung mit Hilfe einer neuartigen hierarchischen Architektur, die räumliche Merkmale im zeitlichen Bereich integriert. Schließlich erhalten wir eine Aktionsvorhersage für jeden Frame in einer Sequenz, indem wir mehrere t-Patch-Darstellungen aggregieren.
Diese Pipeline überwindet den Bedarf an Punktkorrespondenzen über die Zeit, Gitterstruktur, Punktreihenfolge und eine feste Anzahl von Punkten in jedem Frame. Intuitiv spiegeln Patches lokale Oberflächenverformungen wider und sind robuster gegenüber Punktkorrespondenzfehlern.
Unsere Experimente zeigen, dass die 3DinAction-Methode im Vergleich zu bestehenden State-of-the-Art-Methoden signifikante Leistungssteigerungen von 13% und 7% in der Genauigkeit auf den DFAUST- und IKEA ASM-Datensätzen erzielt.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Yizhak Ben-S... klo arxiv.org 04-01-2024
https://arxiv.org/pdf/2303.06346.pdfSyvällisempiä Kysymyksiä