Die Studie stellt eine neue Methode namens InstantAvatar vor, die es ermöglicht, vollständige 3D-Kopfavatar aus einem oder wenigen Bildern in wenigen Sekunden zu rekonstruieren. Dies ist im Vergleich zu anderen Methoden, die mehrere Minuten oder sogar Stunden für die Rekonstruktion benötigen, eine deutliche Beschleunigung.
Die Kernidee ist es, eine hybride neuronale Architektur zu verwenden, die eine Kombination aus einem Voxel-Gitter-basierten neuronalen Feld und einem Oberflächenrenderer nutzt. Um die Optimierung dieser Architektur zu stabilisieren und zu beschleunigen, wird ein statistisches Modell verwendet, das eine Verteilung über 3D-Kopf-Abstandsfunktionen (SDFs) lernt. Zusätzlich wird die Optimierung durch die Verwendung von Normalenvektoren als Zusatzsignal weiter verbessert.
Die Experimente zeigen, dass InstantAvatar eine ähnliche Rekonstruktionsgenauigkeit wie der Stand der Technik erreicht, aber um den Faktor 100 schneller ist. Die Methode kann sowohl Einzelbild- als auch Mehrbildrekonstruktionen durchführen und ist in der Lage, nicht nur das Gesicht, sondern den gesamten Kopf einschließlich Haaren und Kleidung zu rekonstruieren.
To Another Language
from source content
arxiv.org
Deeper Inquiries