Die Studie präsentiert einen neuen Ansatz namens FD4MM (Frequency Decoupling for Motion Magnification) zur Bewegungsverstärkung in Videos. Kernidee ist die Frequenzentzerrung, um stabile Bewegungsfelder aus Niederfrequenzmerkmalen und detaillierte Hochfrequenzmerkmale zu erfassen.
Dafür wird eine mehrstufige isomorphe Architektur entwickelt, die Hochfrequenz- und Niederfrequenzmerkmale auf verschiedenen Ebenen extrahiert. Um Informationsverlust durch Rauschen zu vermeiden, werden Sparse High-/Low-pass Filter eingesetzt. Ein Sparse Frequency Mixer führt die Merkmale dann wieder zusammen, um eine nahtlose Rekombination zu erreichen. Zusätzlich wird eine neuartige kontrastive Regularisierung verwendet, um unerwünschte Bewegungsverstärkung zu reduzieren.
Umfangreiche Experimente auf realen und synthetischen Datensätzen zeigen, dass FD4MM die Leistung bisheriger Methoden übertrifft, bei gleichzeitig geringerem Rechenaufwand und schnellerer Inferenz.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Fei Wang,Dan... at arxiv.org 03-13-2024
https://arxiv.org/pdf/2403.07347.pdfDeeper Inquiries