Hochwertige und realistische Porträtanimationen durch audiogesteuerte Synthese

AniPortrait ist ein neuartiges Framework zur Erstellung hochqualitativer Animationen, die durch Audio und ein Referenzportrait angetrieben werden. Das Framework extrahiert zunächst 3D-Zwischenrepräsentationen aus dem Audio und projiziert diese in eine Sequenz von 2D-Gesichtslandmarken. Anschließend wird ein robustes Diffusionsmodell zusammen mit einem Bewegungsmodul eingesetzt, um die Landmarkensequenz in eine fotorealistische und zeitlich konsistente Porträtanimation umzuwandeln.