Der Artikel untersucht die theoretische Leistungsfähigkeit von Gradientenabstieg-basierten Algorithmen zum Lernen der Scorefunktion in Diffusionsmodellen.
Zunächst wird ein parametrisches Modell für die Scorefunktionsschätzung vorgeschlagen, das das Scorematching-Problem in ein Regressionsproblem mit verrauschten Etiketten transformiert.
Die Analyse überwindet drei Hauptherausforderungen, die in traditionellen überwachten Lernproblemen nicht auftreten: 1) unbegrenzte Eingabe, 2) vektorwertige Ausgabe und 3) eine zusätzliche Zeitvariable.
Durch die Kopplung des neuronalen Netzwerktrainings mit einer Reihe von Regressionsmodellen unter Verwendung neuronaler Tangentenkerne (NTK) und die Nutzung jüngster Entwicklungen in der NTK-basierten Analyse wird gezeigt, dass das Scorematching-Problem in ein Kernregressionsmodell überführt werden kann.
Schließlich wird eine Frühstopp-Regel für die Kernregression verwendet, um den Scorematching-Verlust zu minimieren, und es werden Generalisierungsergebnisse (Stichprobenkomplexität) für das Erlernen der Scorefunktion mit neuronalen Netzwerken trotz verrauschter Beobachtungen bereitgestellt.
翻譯成其他語言
從原文內容
arxiv.org
深入探究