Core Concepts
Unser Ansatz PerVFI verwendet ein asymmetrisches synergistisches Blending-Modul und einen auf normalisierten Flüssen basierenden Generator, um die Herausforderungen von Unschärfe und Geisterbildern bei der Videorahmeninterpolation zu überwinden und eine deutlich verbesserte Wahrnehmungsqualität zu erzielen.
Abstract
Die Studie präsentiert einen neuen Ansatz für die Videorahmeninterpolation, genannt PerVFI (Perception-oriented Video Frame Interpolation), der die Probleme von Unschärfe und Geisterbildern in bisherigen Methoden adressiert.
Kernelemente sind:
- Asymmetrisches synergistisches Blending-Modul (ASB): Verwendet einen Referenzrahmen für den Hauptinhalt und den anderen für komplementäre Informationen, um Fehlausrichtungen zu kompensieren.
- Selbstgelerntes, quasi-binäres Überblendungsmasken-Modul: Ermöglicht eine effektive Kontrolle des Überblendungsprozesses und reduziert Artefakte.
- Normalizing-Flow-basierter Generator: Modelliert die bedingte Verteilung des Ausgabebildes, um detailreiche und klare Ergebnisse zu erzeugen.
Die umfangreichen Experimente zeigen, dass PerVFI deutlich bessere Ergebnisse in Bezug auf die Wahrnehmungsqualität erzielt als bisherige Methoden, selbst bei großen Bewegungen und Fehlausrichtungen.
Stats
Unser Ansatz erzielt einen PSNR-Wert von 26,83 und einen VFIPS-Wert von 87,51 auf dem DAVIS-480P-Datensatz, was eine signifikante Verbesserung gegenüber anderen Methoden darstellt.
Auf dem Xiph-4K-Datensatz erreicht PerVFI einen FloLPIPS-Wert von 0,032, was ebenfalls deutlich besser ist als die Konkurrenz.
Quotes
"Unser Ansatz PerVFI verwendet ein asymmetrisches synergistisches Blending-Modul und einen auf normalisierten Flüssen basierenden Generator, um die Herausforderungen von Unschärfe und Geisterbildern bei der Videorahmeninterpolation zu überwinden und eine deutlich verbesserte Wahrnehmungsqualität zu erzielen."