Der Artikel zeigt, dass generative Diffusionsmodelle mithilfe der Werkzeuge der Gleichgewichtsstatistischen Physik verstanden und analysiert werden können.
Zunächst wird eine Familie von Boltzmann-Verteilungen über die rauschfreien Zustände definiert, die als (nicht beobachtbare) Mikrozustände während des Diffusionsprozesses interpretiert werden. Mithilfe dieser Umformulierung wird gezeigt, dass generative Diffusionsmodelle Phasenübergänge zweiter Ordnung vom Mean-Field-Typ durchlaufen können, die mit Symmetriebrechungsphänomenen einhergehen.
In der Analyse spielt die zeitabhängige Varianz die Rolle eines Temperaturparameters. Es wird eine selbstkonsistente Zustandsgleichung für das System abgeleitet, die der Fixpunktgleichung der generativen Dynamik entspricht. Außerdem wird gezeigt, dass die generative Dynamik eine regularisierte Helmholtz-Freie-Energie minimiert, was Diffusionsmodelle mit anderen energiebasierten Modellen in der Maschinellen Lerntheorie und der theoretischen Neurowissenschaft in Verbindung bringt.
Schließlich wird mithilfe der statistischen Physik ungeordneter Systeme der Übergang zwischen Generalisierung und Memorisierung als ungeordneter Phasenübergang charakterisiert.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Luca Ambrogi... um arxiv.org 03-15-2024
https://arxiv.org/pdf/2310.17467.pdfTiefere Fragen