Der Artikel präsentiert SMIRK, eine neue Methode zur präzisen Rekonstruktion expressiver 3D-Gesichter aus Einzelbildern. Bisherige Methoden haben Schwierigkeiten, subtile, extreme oder asymmetrische Gesichtsausdrücke korrekt zu erfassen.
SMIRK adressiert diese Limitationen, indem es die übliche differenzierbare Rendering-Komponente durch ein neuronales Rendering-Modul ersetzt. Dieses Modul generiert basierend auf der vorhergesagten Geometrie und wenigen Pixeln des Eingabebilds ein realistisches Bild des Gesichts. Dadurch kann der Geometrie-Fehler direkt optimiert werden, ohne die Komplexität der Beleuchtungs- und Erscheinungsmodellierung.
Zusätzlich nutzt SMIRK einen Zyklus-basierten Ansatz, um die Diversität der Gesichtsausdrücke im Training zu erhöhen. Hierbei wird die vorhergesagte Expression modifiziert und die Konsistenz zwischen der modifizierten und der rekonstruierten Expression erzwungen.
Die Experimente zeigen, dass SMIRK den Stand der Technik in Bezug auf die Genauigkeit und Wahrnehmungsqualität der rekonstruierten Gesichtsausdrücke deutlich übertrifft.
To Another Language
from source content
arxiv.org
Djupare frågor