In dieser Arbeit stellen wir MI-NeRF (Multi-Identity NeRF) vor, eine neuartige Methode, die ein einzelnes dynamisches NeRF aus monokularen Videoaufnahmen von Gesichtern mehrerer Identitäten lernt.
Der Kern unseres Ansatzes ist ein multiplikativer Modul, der die nicht-linearen Wechselwirkungen zwischen identitätsspezifischen und nicht-identitätsspezifischen Informationen approximiert. Durch das Training auf mehreren Videos gleichzeitig reduziert MI-NeRF nicht nur die Gesamttrainingszeit im Vergleich zu Standard-Single-Identitäts-NeRFs, sondern zeigt auch Robustheit bei der Synthese neuartiger Ausdrücke für jede Eingabeidentität.
Wir präsentieren Ergebnisse sowohl für den Gesichtsausdruckstransfer als auch für die Synthese von Talking-Face-Videos. Unser Verfahren kann für eine Zielidentität weiter personalisiert werden, wobei nur ein kurzes Video benötigt wird.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Aggelina Cha... at arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.19920.pdfDeeper Inquiries