Konsep Inti
Durch die Einführung eines einzelnen zusätzlichen Parameters können ODE-Löser in D-ODE-Löser umgewandelt werden, die die Stärken von lernfreien und lernbasierten Abtastmethoden kombinieren. D-ODE-Löser übertragen Wissen von ODE-Lösern mit größeren Schritten auf solche mit kleineren Schritten, ohne die vortrainierte Entschärfungsnetzwerk anpassen zu müssen.
Abstrak
Der Artikel stellt eine neue Methode namens "Distilled-ODE Solver" (D-ODE Solver) vor, um die Abtastgeschwindigkeit von Diffusionsmodellen zu verbessern, ohne die Qualität der generierten Samples zu beeinträchtigen.
Diffusionsmodelle haben sich als leistungsfähige generative Modelle etabliert, leiden aber unter langsamen Abtastgeschwindigkeiten, die viele Netzwerkevaluationen erfordern. Der Artikel untersucht zwei Ansätze, um die Abtasteffizienz zu verbessern:
Lernfreie Abtastmethoden: Diese verwenden effiziente Löser für gewöhnliche Differentialgleichungen (ODEs), um die Abtastpfade zu beschleunigen. Sie haben jedoch Schwierigkeiten, den tatsächlichen Abtastpfad genau nachzuverfolgen, insbesondere bei einer geringen Anzahl von Entschärfungsschritten.
Lernbasierte Abtastmethoden: Diese erfordern zusätzliches Training, um spezifische Ziele wie Wissensdestillation zu optimieren. Obwohl sie die Generierung in wenigen Schritten ermöglichen, ist der Trainingsaufwand begrenzt.
D-ODE Solver überbrücken diese Lücke, indem sie die Stärken beider Ansätze nutzen. Sie führen einen einzelnen zusätzlichen Parameter in bestehende ODE-Löser ein, der eine lineare Kombination der aktuellen und vorherigen Entschärfungsausgaben darstellt. Dieser Parameter wird durch Wissensdestillation von ODE-Lösern mit größeren Schritten auf solche mit kleineren Schritten optimiert, ohne das vortrainierte Entschärfungsnetzwerk anpassen zu müssen.
Umfangreiche Experimente zeigen, dass D-ODE Solver die FID-Werte (Fréchet Inception Distance) im Vergleich zu bestehenden ODE-Lösern wie DDIM, PNDM, DPM-Solver, DEIS und EDM deutlich verbessern, insbesondere bei einer geringen Anzahl von Netzwerkevaluationen. Darüber hinaus erfordert die Destillation von D-ODE Solvern nur einen geringen zusätzlichen Rechenaufwand im Vergleich zu früheren Destillationstechniken, was eine einfache und schnelle Integration in bestehende Abtaster ermöglicht.
Statistik
Die Anzahl der Netzwerkevaluationen (NFE) hat einen erheblichen Einfluss auf die Qualität der generierten Samples.
Bei einer NFE von 2 oder 5 sind die Samples von DDIM und EDM von sehr schlechter Qualität.
D-ODE Solver können die FID-Werte im Vergleich zu ODE-Lösern deutlich verbessern, insbesondere bei einer geringen NFE.
Kutipan
"D-ODE Solver überbrücken die Lücke zwischen lernfreien und lernbasierten Abtastmethoden, indem sie die Vorteile beider Ansätze nutzen."
"D-ODE Solver erfordern nur einen geringen zusätzlichen Rechenaufwand im Vergleich zu früheren Destillationstechniken, was eine einfache und schnelle Integration in bestehende Abtaster ermöglicht."