In dieser Arbeit präsentieren wir AnimateDiff-Lightning, ein Modell zur blitzschnellen Videogenerierung. Wir zeigen, dass die progressive adversarielle Diffusionsdestillation erfolgreich auf die Videomodalität angewendet werden kann und so neue Bestmarken bei der Videogenerierung in wenigen Schritten erreicht.
Darüber hinaus schlagen wir eine Kreuzmodell-Diffusionsdestillation vor, um die Fähigkeit des Destillationsmoduls, auf verschiedene stilisierte Basismodelle zu generalisieren, weiter zu verbessern. Wir wenden diese Technik auf AnimateDiff an, da es eines der am häufigsten verwendeten Modelle mit unterschiedlichen Bildbasissmodellen ist. Diese Technik kann jedoch allgemein auf Destillationsmodule für alle Modalitäten angewendet werden.
Unsere Ergebnisse zeigen, dass AnimateDiff-Lightning bessere Qualität in weniger Inferenzschritten erzeugt als die vorherige Methode AnimateLCM. Darüber hinaus können wir die Kompatibilität mit verschiedenen Basismodellen, einschließlich ungesehener Modelle, deutlich verbessern. Abschließend veröffentlichen wir unser destilliertes AnimateDiff-Lightning-Modell für die Nutzung durch die Community.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Shanchuan Li... klo arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12706.pdfSyvällisempiä Kysymyksiä