Konvergenzrate von RMSProp und seiner Momentum-Erweiterung, gemessen am ℓ1-Norm
Wir beweisen eine Konvergenzrate von O(√d/T^(1/4)) für RMSProp und seine Momentum-Erweiterung, gemessen am ℓ1-Norm, ohne die Annahme beschränkter Gradienten.
Lineare Konvergenz von vorwärts-rückwärts beschleunigten Algorithmen ohne Kenntnis des Moduls der starken Konvexität
Sowohl das Nesterov-beschleunigte Gradientenverfahren (NAG) als auch der schnelle iterative Schrumpfungs-Schwellwert-Algorithmus (FISTA) konvergieren linear für stark konvexe Funktionen, ohne dass der Modul der starken Konvexität bekannt sein muss.
Schnellere Konvergenz des stochastischen beschleunigten Gradientenabstiegs unter Interpolation
Wir beweisen neue Konvergenzraten für eine verallgemeinerte Version des stochastischen Nesterov-Beschleunigungsverfahrens unter Interpolationsbedingungen. Im Gegensatz zu früheren Analysen beschleunigt unser Ansatz jedes stochastische Gradientenverfahren, das in Erwartung ausreichenden Fortschritt erzielt.
Generalisierter Gradientenabstieg als Hypergraph-Funktor
Generalisierter Gradientenabstieg in Bezug auf eine gegebene Cartesische Rückwärtsableitungskategorie induziert einen Hypergraph-Funktor von einer Hypergraph-Kategorie von Optimierungsproblemen zu einer Hypergraph-Kategorie von dynamischen Systemen.
Optimierung der Effizienz des evolutionären Lösers für NP-schwierige Einzelmaschinen-Scheduling-Probleme
Die Studie untersucht die Optimierung der Parameter des evolutionären Lösers, um die Gesamtverspätung in Einzelmaschinen-Scheduling-Problemen, die als NP-schwierig gelten, zu minimieren.
Optimierung von graphenstrukturierten Tensoren für nichtlineare Dichtesteuerung und Mean-Field-Spiele
In dieser Arbeit entwickeln wir eine numerische Methode zur Lösung einer Art konvexer graphenstrukturierter Tensor-Optimierungsprobleme. Diese Probleme treten in vielen Anwendungen auf, wie z.B. in unbalancierten Optimal-Transport-Problemen und Multi-Spezies-Potential-Mean-Field-Spielen.
Adam-Optimizer: Konvergenzanalyse unter nicht-uniformer Glattheit
Der Adam-Optimierer konvergiert schneller als der Stochastische Gradientenabstieg mit Momentum (SGDM) unter der Bedingung der nicht-uniformen Glattheit.
Verstehen des PDHG-Algorithmus durch hochauflösende Differenzialgleichungen
Der Primal-Dual-Hybrid-Gradient-Algorithmus (PDHG) ist ein leistungsfähiges Optimierungsverfahren, das durch ein System hochauflösender Differenzialgleichungen effektiv erfasst werden kann. Dieses System beschreibt die gekoppelten x-Korrekturen und y-Korrekturen, die das konvergente Verhalten von PDHG im Vergleich zum Proximal-Arrow-Hurwicz-Algorithmus erklären.
Ein neuer Rahmen für die eingeschränkte Optimierung durch Rückkopplungssteuerung der Lagrange-Multiplikatoren
Der Artikel präsentiert einen neuartigen kontinuierlichen Steuerungsrahmen für die Lösung von Optimierungsproblemen mit Gleichheitsnebenbedingungen. Der Schlüsselgedanke ist es, ein Rückkopplungssteuersystem zu entwerfen, bei dem die Lagrange-Multiplikatoren die Stellgröße sind und die Ausgabe die Nebenbedingungen darstellt. Das System konvergiert durch geeignete Regelung zu einem stationären Punkt des eingeschränkten Optimierungsproblems.
Effiziente kompakte Darstellungen für Datenfitting-Probleme
Kompakte Darstellungen ermöglichen effiziente Berechnungen für große Optimierungsprobleme ohne Hesseinformationen, indem sie die dichte Hessematrix in einer niedrigrangigen Form darstellen.
© 2024 by Linnk AI