In diesem Papier stellen wir Knowledge NeRF vor, ein neues Verfahren zur Synthese neuer Ansichten für dynamische Szenen. Der Schlüssel ist, dass wir Wissen aus einem vortrainierten NeRF-Modell nutzen, um die aktuelle Erscheinung des artikulierten Objekts zu inferieren, anstatt alle Zustände gleichzeitig zu lernen.
Zunächst trainieren wir ein NeRF-Modell für ein artikuliertes Objekt in einer bestimmten Pose. Wenn sich das Objekt bewegt, übertragen wir dieses Wissen auf den aktuellen Zustand, indem wir nur 5 Bilder verwenden. Im Gegensatz zu früheren Methoden, die versuchen, alle Zustände der Objektbewegung gleichzeitig zu erfassen, betrachten wir zwei Zustände gleichzeitig: die vortrainierte Wissensbasis und den aktuellen Zustand von Interesse.
Unser Ziel ist es, die gleiche Bildqualität bei der Darstellung für artikulierte Objekte nach der Bewegung zu erreichen, wie sie durch direktes Training von NeRF mit einer großen Anzahl von Bildern erzielt wird. Dazu führen wir eine leichtgewichtige Projektionsmodule ein, die Informationen aus der vortrainierten Wissensbasis in den aktuellen Zustand überträgt.
Unsere Experimente zeigen, dass Knowledge NeRF in der Lage ist, dynamische 3D-Szenen aus nur 5 Eingabebildern mit der gleichen Bildqualität wie ein direkt auf 100 Bildern trainiertes NeRF-Modell zu rekonstruieren.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Wenx... klokken arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00674.pdfDypere Spørsmål