Einheitliche und ausdrucksstarke Erzeugung von Gesten mit Sprachsteuerung durch expressive maskierte Audio-Gesten-Modellierung

Core Concepts

Ein Rahmenwerk zur Erzeugung ganzheitlicher menschlicher Gesten aus Audio und teilweise oder vollständig maskierten Gesten, die Gesichtsausdrücke, lokale Körperdynamik, Handbewegungen und globale Übersetzungen umfassen.

Abstract

Die Studie präsentiert EMAGE, ein Rahmenwerk zur Erzeugung vollständiger menschlicher Körpergesten aus Audio und teilweise oder vollständig maskierten Gesten. Es umfasst Gesichtsausdrücke, lokale Körperdynamik, Handbewegungen und globale Übersetzungen.
Zunächst wird BEAT2 vorgestellt, ein neuer, einheitlicher, meshbasierter Datensatz für Sprachgesten, der SMPLX-Körperparameter und FLAME-Kopfparameter kombiniert.
Anschließend wird EMAGE beschrieben, das eine maskierte Audio-Gesten-Transformer-Architektur verwendet, um robuste Körperhinweise aus maskierten Gesten zu extrahieren. Diese Hinweise werden dann separat verwendet, um Gesichts- und Körperbewegungen zu erzeugen. Außerdem nutzt EMAGE adaptive Sprachmerkmale und mehrere VQ-VAEs, um die Genauigkeit und Vielfalt der Ergebnisse zu verbessern.
Die Experimente zeigen, dass EMAGE den aktuellen Stand der Technik bei der Erzeugung ganzheitlicher Gesten übertrifft und flexibel ist, um teilweise vordefinierte räumlich-zeitliche Gesten als Eingabe zu akzeptieren.

Stats

Die durchschnittliche Fehlerrate (in mm) für den aktuellen Stand der Technik bei der monokularen 3D-Posenschätzung im Human 3.6M-Datensatz beträgt 33,4, während sie für Vicon-Mocap bei 0,142 liegt.
BEAT2 umfasst 60 Stunden an Daten, was es zum größten meshbasierten Datensatz für Sprachgesten macht.

Quotes

"Stattdessen betrachten wir einen Rahmen, der teilweise räumlich-zeitlich vordefinierte Gesten aufnehmen und den verbleibenden Teil autonom und synchron mit dem Audio vervollständigen kann, was Vorteile für Anwendungen zur Erstellung fotorealistischer digitaler Menschen bietet."
"EMAGE zeigt seine weitere Anwendung im gemeinsamen Training mehrerer, nicht ganzheitlicher Gestendatensätze."

Key Insights Distilled From

EMAGE

by Haiyang Liu,... at arxiv.org 03-26-2024

https://arxiv.org/pdf/2401.00374.pdf

Deeper Inquiries

Wie könnte EMAGE für andere Anwendungen wie Robotersteuerung oder Spieleentwicklung angepasst werden?

EMAGE könnte für Robotersteuerung angepasst werden, indem die generierten Gesten direkt in Steuerbefehle für Roboter umgewandelt werden. Hierfür müsste eine Schnittstelle entwickelt werden, die die generierten Gesten interpretiert und in entsprechende Bewegungen oder Aktionen für den Roboter übersetzt. Für Spieleentwicklung könnte EMAGE verwendet werden, um realistische und synchronisierte Gesten für Charaktere oder NPCs zu generieren. Dies könnte die Immersion und Interaktivität von Spielen verbessern.

Welche Herausforderungen müssen angegangen werden, um EMAGE für eine Echtzeitanwendung zu optimieren?

Um EMAGE für Echtzeitanwendungen zu optimieren, müssen mehrere Herausforderungen bewältigt werden. Zunächst muss die Inferenzgeschwindigkeit verbessert werden, um die Echtzeitgenerierung von Gesten zu ermöglichen. Dies erfordert möglicherweise die Optimierung von Modellen und Algorithmen sowie die Nutzung von Hardwarebeschleunigung. Des Weiteren müssen die Modelle von EMAGE möglicherweise auf Echtzeitdatenströme angepasst werden, um eine kontinuierliche Generierung von Gesten zu gewährleisten. Die Latenzzeit muss minimiert werden, um eine reibungslose Interaktion in Echtzeit zu ermöglichen.

Wie könnte EMAGE erweitert werden, um auch andere Modalitäten wie Blicke oder Emotionen zu berücksichtigen?

Um EMAGE zu erweitern und auch andere Modalitäten wie Blicke oder Emotionen zu berücksichtigen, könnten zusätzliche Inputdatenquellen integriert werden. Zum Beispiel könnten Blickverfolgungsdaten verwendet werden, um die Blickrichtung und -bewegungen in die Generierung von Gesten einzubeziehen. Emotionserkennungsalgorithmen könnten verwendet werden, um emotionale Zustände zu erfassen und in die generierten Gesten zu integrieren. Durch die Integration dieser zusätzlichen Modalitäten könnte EMAGE noch realistischere und nuanciertere Gesten generieren, die auch emotionale und visuelle Signale berücksichtigen.