Core Concepts
Wir präsentieren einen neuartigen und einen der ersten unüberwachten Ansätze zur Rekonstruktion von 3D-Interaktionen zwischen mehreren Personen aus 2D-Posen allein.
Abstract
In dieser Studie wird ein unüberwachter Ansatz zur 3D-Rekonstruktion von Interaktionen zwischen mehreren Personen aus 2D-Posen allein vorgestellt. Der Ansatz besteht aus mehreren Schritten:
- Unabhängiges Anheben der 2D-Posen jeder Person in 3D, um Fehler bei der gemeinsamen Anhebung zu vermeiden.
- Kombination der 3D-Posen in einem gemeinsamen Koordinatensystem.
- Vorhersage des Elevationswinkels der Kamera relativ zum Becken jeder Person, um die Höhenverschiebung und Rotation der 3D-Posen zu kompensieren.
- Skalierung der 3D-Posen, so dass ihre Füße in einer gemeinsamen Bodenebene liegen.
Die Evaluierung auf dem CHI3D-Datensatz zeigt, dass dieser Ansatz die Genauigkeit der 3D-Rekonstruktion im Vergleich zu naiven Methoden deutlich verbessert. Die Studie führt auch drei neue quantitative Metriken ein, um die Genauigkeit der 3D-Rekonstruktion zu bewerten.
Stats
Die Höhenverschiebung zwischen den beiden Personen kann durch die Differenz der Tangens-Werte ihrer Elevationswinkel berechnet werden: ∆h = c · (tan(θ1) - tan(θ2)).
Die Rotationsmatrix zur Kompensation der Kameraelevation ist: R = [1, 0, 0; 0, cos(-θ), -sin(θ); 0, sin(θ), cos(θ)].
Quotes
"Unser Lifting- und Kompensationsansatz unterscheidet sich von anderen 3D-Rekonstruktionsmethoden durch seine leichtgewichtige Natur, die einen Echtzeitbetrieb ermöglicht, wodurch seine Anwendbarkeit in Echtzeit-Szenarien erhöht wird."
"Wir hoffen, dass unsere Arbeit weitere Forschung zu der herausfordernden Aufgabe der unüberwachten 3D-Rekonstruktion aus 2D-Posen allein inspirieren wird."