Keskeiset käsitteet
Unser Modell Export3D kann die Gesichtsausdrücke und Kameraansichten eines Quellbildes unter Verwendung der Ausdrucks- und Kameraparameter eines Treibers explizit steuern, ohne dabei unerwünschte Erscheinungsänderungen zu verursachen.
Tiivistelmä
In dieser Arbeit präsentieren wir Export3D, eine Ein-Schuss-3D-bewusste Porträtanimationsmethode, die in der Lage ist, den Gesichtsausdruck und die Kameraansicht eines gegebenen Porträtbildes zu steuern. Um dies zu erreichen, führen wir einen Tri-Ebenen-Generator ein, der direkt eine Tri-Ebene des 3D-Priors erzeugt, indem er den Ausdrucksparameter des 3DMM in das Quellbild überträgt. Die Tri-Ebene wird dann durch differenzierbare Volumenrendering in ein Bild der gleichen Ansicht wie das Treiberbild decodiert.
Bestehende Porträtanimationsmethoden verlassen sich stark auf Bildverzerrung, um den Ausdruck im Bewegungsraum zu übertragen, was eine Entkopplung von Erscheinung und Ausdruck erschwert. Im Gegensatz dazu schlagen wir einen kontrastiven Vortrainingsfrahmens für erscheinungsfreie Ausdrucksparameter vor, der unerwünschte Erscheinungsänderungen beim Übertragen von Ausdrücken über Identitäten hinweg eliminiert.
Umfangreiche Experimente zeigen, dass unser Vortrainingsfrahmens die erscheinungsfreie Ausdrucksrepräsentation erlernen kann, die im 3DMM verborgen ist, und unser Modell 3D-bewusste ausdruckskontrollierte Porträtbilder ohne Erscheinungsänderungen in der Identitätsübertragung erzeugen kann.
Tilastot
Die Gesichtsausdrücke können durch einen 64-dimensionalen Parameter aus dem 3D-Morphable-Modell (3DMM) gesteuert werden.
Die Kameraparameter werden als 25-dimensionaler Vektor dargestellt.
Lainaukset
"Bestehende Porträtanimationsmethoden verlassen sich stark auf Bildverzerrung, um den Ausdruck im Bewegungsraum zu übertragen, was eine Entkopplung von Erscheinung und Ausdruck erschwert."
"Im Gegensatz dazu schlagen wir einen kontrastiven Vortrainingsfrahmens für erscheinungsfreie Ausdrucksparameter vor, der unerwünschte Erscheinungsänderungen beim Übertragen von Ausdrücken über Identitäten hinweg eliminiert."