Die Kernaussage dieses Artikels ist, dass die Autoren eine neue generative Pipeline namens MotionS vorstellen, die in der Lage ist, vielfältige und stilisierte Bewegungen für verschiedene Charaktere zu synthetisieren, indem sie Stilbeschreibungen in mehreren Modalitäten wie Bewegungssequenzen, Text, Bilder oder Videos verwenden.
Die Autoren identifizieren zwei Hauptherausforderungen, die bisher die Entwicklung umfassender Bewegungsstilistik-Pipelines behindert haben: 1) den Ausdruck von Bewegungsstil auf Skelettstrukturen über verschiedene Charaktere hinweg und 2) die Nutzung von Stilrepräsentationen in mehreren Modalitäten.
Um diese Herausforderungen anzugehen, führen die Autoren zwei neuartige Techniken in MotionS ein: "Cross-Modality Style Embedding" und "Cross-Structure Topology Shifting". Diese Strategien ermöglichen es, einen kanonischen Bewegungsraum zu konstruieren, in dem Bewegungsinhalte von verschiedenen Skeletten unter Verwendung extrahierter Stilmerkmale stilisiert werden können.
Das "Cross-Modality Style Embedding" ermöglicht es, Stilbeschreibungen in verschiedenen Formaten in den kanonischen Bewegungsraum einzubetten. Das "Cross-Structure Topology Shifting" überträgt Bewegungsmerkmale zwischen kanonischem und spezifischem Bewegungsraum, um Bewegungsstilistik über verschiedene Skelettstrukturen hinweg zu ermöglichen.
Umfangreiche Experimente zeigen die Effektivität und Allgemeingültigkeit von MotionS sowohl qualitativ als auch quantitativ. Im Vergleich zu State-of-the-Art-Methoden liefert MotionS konsistent hochwertige stilisierte Bewegungen über ein breites Spektrum an Skelettstrukturen hinweg.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Jiaxu Zhang,... a las arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11469.pdfConsultas más profundas