Kernekoncepter
Die Arbeit präsentiert adaptive Proximal-Gradient-Algorithmen, die ohne Liniensuchverfahren auskommen und stattdessen die lokale Geometrie der glatten Funktion nutzen, um die Schrittweiten effizient anzupassen. Die vorgeschlagenen Methoden können auch nichtglatte Terme berücksichtigen und zeigen in numerischen Simulationen eine Verbesserung gegenüber dem Stand der Technik.
Resumé
Die Arbeit befasst sich mit der Entwicklung adaptiver Proximal-Gradient-Algorithmen für konvexe Optimierungsprobleme der Form φ(x) = f(x) + g(x), wobei f eine lokal Lipschitz-stetige Gradientenabbildung und g eine konvexe, unterhalbstetige Funktion ist.
Die Hauptbeiträge sind:
-
Vorschlag eines nichtmonotonen, adaptiven Schrittweiten-Aktualisierungsschemas für die Proximal-Gradient-Methode, das ohne Liniensuchverfahren und Funktionsauswertungen auskommt. Die Schrittweiten werden basierend auf lokalen Schätzungen der Kokoerzivität und Lipschitz-Stetigkeit von ∇f angepasst.
-
Erweiterung der Idee auf den primal-dualen Kontext, wo ein adaptiver drei-Term-Splitting-Algorithmus für zusammengesetzte Minimierungsprobleme entwickelt wird.
-
Einführung einer "im Wesentlichen" vollständig adaptiven Variante des primal-dualen Algorithmus, die die Norm des linearen Operators ohne zusätzliche Gradientenauswertungen schätzt.
Die Konvergenzanalyse zeigt, dass die vorgeschlagenen Algorithmen unter milden Annahmen konvergieren und eine sublineare Konvergenzrate aufweisen. Numerische Simulationen belegen die Effektivität der Methoden im Vergleich zum Stand der Technik.
Statistik
Die folgenden Sätze enthalten wichtige Kennzahlen oder Zahlen, die die Argumentation der Autoren unterstützen:
"∥∇f(xk−1) − ∇f(xk)∥2 = ckℓk∥xk−1 − xk∥2, d.h. ckℓk = L2
k."
"∥Hk(xk−1) − Hk(xk)∥2 = (1 − γkℓk(2 − γkck))∥xk−1 − xk∥2."
"ℓk ≤ Lk ≤ Lf,V und Lk ≤ ck, wobei Lf,V ein Lipschitz-Modul für ∇f auf einer kompakten konvexen Menge V ist, die xk−1 und xk enthält."
"γk+1 ≥ min{γk√1 + ρk, 1/2Lk}"
Citater
"Backtracking-Liniensuchverfahren sind der de facto-Ansatz zum Minimieren stetig differenzierbarer Funktionen mit lokal Lipschitz-stetiger Gradientenabbildung. In den letzten Jahren hat sich jedoch gezeigt, dass es im konvexen Kontext möglich ist, die Liniensuchverfahren ganz zu vermeiden und die Schrittweite basierend auf einer lokalen Glätteabschätzung ohne jegliche Rückwärtsschritte oder Funktionsauswertungen anzupassen."
"Im Gegensatz zu Backtracking-Liniensuchverfahren beseitigt der neue Ansatz die Notwendigkeit von Rückwärtsschritten oder Funktionsauswertungen vollständig. Darüber hinaus erfordert der vorgeschlagene Algorithmus keine Parametereinstellung und kann schnell von einer schlechten Schrittweiten-Initialisierung erholen."