Erhaltung der Struktur und Bewegung bei der textgesteuerten Videoanpassung durch Selbstähnlichkeitsregularisierung

Unser Ansatz DreamMotion verwendet Gradientenoptimierung basierend auf Scoredistillation, um die Erscheinung von Videos an Zieltexte anzupassen, während gleichzeitig die Struktur und Bewegung des Originalvideos durch Ausrichtung der räumlichen und zeitlichen Selbstähnlichkeit erhalten bleiben.