Core Concepts
Der Datensatz RELI11D bietet eine umfassende Erfassung menschlicher Bewegungen durch die Kombination von LiDAR, Ereigniskamera, RGB-Kamera und IMU-Messungen. Die vorgeschlagene Methode LEIR nutzt die Stärken der verschiedenen Modalitäten, um präzise globale Posen und Trajektorien zu schätzen.
Abstract
Der Datensatz RELI11D umfasst synchronisierte Aufnahmen von 10 Personen, die 5 verschiedene Sportarten in 7 Szenen ausüben. Insgesamt wurden 3,32 Stunden an Daten erfasst, die LiDAR-Punktwolken, IMU-Messungen, RGB-Videos und Ereignisströme beinhalten.
Der Datensatz ermöglicht es, verschiedene Aufgaben der 3D-Posenschätzung zu untersuchen. Die Experimente zeigen, dass bestehende Methoden Schwierigkeiten haben, die schnellen und komplexen Bewegungen in RELI11D präzise zu erfassen.
Um diese Herausforderungen zu adressieren, schlagen die Autoren die Methode LEIR vor. LEIR nutzt eine Kreuzaufmerksamkeitsstruktur, um die Geometrieinformationen aus LiDAR, die Bewegungsdynamik aus Ereignissen und die Erscheinungsmerkmale aus RGB-Bildern effektiv zu integrieren. Die Experimente zeigen, dass LEIR im Vergleich zu bestehenden Methoden deutlich bessere Ergebnisse für die globale Posenschätzung auf dem RELI11D-Datensatz erzielt.
Stats
Die Bewegungen der Personen wurden mit einer Frequenz von 20 Hz aufgezeichnet.
Der Datensatz umfasst insgesamt 239.000 Frames von Punktwolken des menschlichen Körpers.
Quotes
"Umfassende Erfassung menschlicher Bewegungen erfordert sowohl genaue Erfassung komplexer Posen als auch präzise Lokalisierung der Person innerhalb der Szene."
"Die reichen Modalitäten und Annotationen in unserem Datensatz ermöglichen es, eine Reihe von 3D-Posenschätzungsaufgaben zu benchmarken."