Core Concepts
Die Arbeit führt neue Klassen von Zielfunktionen ein, die durch begrenzte lokale Variation der Subgradienten definiert sind. Diese Klassen umfassen die traditionell in der Optimierungsliteratur untersuchten Klassen und ermöglichen eine feinkörnigere Charakterisierung der Komplexität von nichtglatten Optimierungsproblemen.
Abstract
Die Arbeit führt zwei neue Konzepte ein, um die Komplexität nichtglatter Optimierungsprobleme zu charakterisieren: Begrenzte maximale lokale Variation der Subgradienten (Grad-BMV) und begrenzte mittlere lokale Oszillation der Subgradienten (Grad-BMO). Diese Konzepte sind schwächer als die traditionell verwendete globale Lipschitz-Stetigkeit, erfassen aber eine breitere Klasse von Funktionen.
Die Autoren zeigen, dass diese lokalen Variationseigenschaften ausreichen, um feinkörnigere Komplexitätsschranken für deterministische, randomisierte und parallele konvexe Optimierung sowie für nichtkonvexe Optimierung zu erhalten. Insbesondere können sie die Komplexität in Abhängigkeit von der Struktur der Subgradienten-Menge in der Nähe des Optimums charakterisieren. Dies führt zu überraschenden Ergebnissen, wie z.B. einer Parallelisierungslücke für stückweise lineare Funktionen.
Stats
Die Lipschitz-Konstante L kann durch die Grad-BMV-Konstante b_Lr ersetzt werden, die in der Regel deutlich kleiner ist.
Die mittlere Breite w(∂_r f(x*)) der Subdifferentialenmenge in der Nähe des Optimums x* bestimmt die Komplexität der randomisierten und parallelen Optimierung.
Quotes
"Es ist möglich, Komplexitätsergebnisse sowohl für konvexe als auch für nichtkonvexe Optimierungsprobleme zu erhalten, bei denen die (lokale oder globale) Lipschitz-Konstante durch eine Konstante der lokalen Subgradienten-Variation ersetzt wird, die kleinen lokalen Regionen entspricht."
"Die Komplexität der Subdifferentialmenge in der Nähe der Optima spielt eine Rolle bei der Komplexität der nichtglatten Optimierung, insbesondere in parallelen Optimierungseinstellungen; Funktionen mit 'einfachen' Subdifferentialmengen in der Nähe von Optima können effizienter optimiert werden, wobei die Einfachheit durch die mittlere Breite der Subdifferentialmenge in einer Region um das Optimum gemessen wird."