Core Concepts
Die vorgeschlagene Spektrale Bewegungsausrichtung (SMA) nutzt Fourier- und Wavelet-Transformationen, um die globalen Bewegungsmuster präzise zu erfassen und lokale Bewegungsartefakte zu reduzieren, um die Genauigkeit der Bewegungsübertragung in Diffusionsmodellen zu verbessern.
Abstract
Die Studie untersucht die Limitierungen herkömmlicher Methoden zur Bewegungsschätzung in Diffusionsmodellen, wie den Mangel an globalem Bewegungskontext und die Anfälligkeit für räumliche Artefakte. Um diese Probleme anzugehen, präsentiert sie die Spektrale Bewegungsausrichtung (SMA), ein neuartiges Verfahren, das Fourier- und Wavelet-Transformationen nutzt.
SMA hat zwei Hauptkomponenten:
Globale Bewegungsausrichtung: SMA verwendet die Wavelet-Transformation, um die Bewegungsmuster über verschiedene Frequenzebenen hinweg zu erfassen und so die Dynamik der Gesamtbewegung zu lernen.
Lokale Bewegungsverfeinerung: SMA nutzt die 2D-Fourier-Transformation, um die Amplituden- und Phasenspektren der geschätzten und tatsächlichen Bewegungsvektoren abzugleichen, wobei die Niederfrequenzkomponenten priorisiert werden, um Artefakte zu reduzieren.
Umfangreiche Experimente zeigen, dass SMA die Leistung verschiedener Bewegungsübertragungsrahmen, wie MotionDirector und VMC, deutlich verbessert, indem es die Genauigkeit der Bewegungsübertragung erhöht, ohne den Rechenaufwand zu erhöhen.
Stats
Die Bewegungsvektoren zwischen aufeinanderfolgenden Frames enthalten nicht nur Bewegungsinformationen, sondern auch störende Artefakte wie Hintergrundrauschen und Beleuchtungsänderungen.
Hochfrequenzkomponenten in Bewegungsvektoren sind oft mit nicht bewegungsbezogenen Artefakten verbunden.
Die Wavelet-Transformation ermöglicht eine Multiskalenanalyse der Bewegungsvektoren und erfasst so Bewegungen auf verschiedenen Skalen und Frequenzen effektiv.
Quotes
"Spektrale Bewegungsausrichtung (SMA) nutzt Fourier- und Wavelet-Transformationen, um die globalen Bewegungsmuster präzise zu erfassen und lokale Bewegungsartefakte zu reduzieren, um die Genauigkeit der Bewegungsübertragung in Diffusionsmodellen zu verbessern."
"SMA imposes negligible memory and computational burdens, as most off-the-shelf VDMs can readily compute estimates of motion vectors."