PEGASUS ist ein Verfahren zur Erstellung eines personalisierten generativen 3D-Gesichtsavatars aus monokularen Videoquellen. Der Ansatz besteht aus zwei Hauptkomponenten: der Erstellung einer synthetischen Datenbank und der Konstruktion eines personalisierten generativen 3D-Avatarmodells.
Zunächst wird eine synthetische Datenbank erstellt, indem Gesichtsattribute (wie Haare, Nase oder Accessoires) von anderen Personen auf das Video der Zielidentität übertragen werden. Dadurch entsteht eine Sammlung von Videos der Zielidentität mit verschiedenen Attributvariationen.
Anschließend wird das personalisierte generative 3D-Avatarmodell trainiert, um die Zielidentität mit diesen Attributvariationen darzustellen. Das Modell ermöglicht eine entkoppelte Kontrolle der Gesichtsattribute, sodass der Benutzer diese selektiv verändern kann, ohne die Identität zu verlieren.
Als Alternative zu diesem aufwendigen Prozess der Erstellung einer synthetischen Datenbank präsentieren wir auch einen effizienten "Zero-Shot"-Ansatz. Dabei wird das personalisierte generative Modell durch Fusion von Teilkomponenten eines bereits trainierten Modells und des neuen Zielmodells erstellt, ohne zusätzliches Training.
Durch umfangreiche Experimente zeigen wir, dass unser Ansatz zur Erstellung einer synthetischen Datenbank und eines personalisierten generativen Avatars am effektivsten ist, um die Identität zu bewahren und gleichzeitig eine hohe Realitätsnähe zu erreichen.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Hyunsoo Cha,... om arxiv.org 04-03-2024
https://arxiv.org/pdf/2402.10636.pdfDiepere vragen