Основные понятия
Eine stochastische Quasi-Newton-Methode wird vorgestellt, die eine optimale Stichprobenkomplexität von O(ǫ-3) erreicht, um eine ǫ-approximative Lösung für nicht-konvexe Optimierungsprobleme mit nicht-uniformer Glattheit zu finden.
Аннотация
Der Artikel behandelt ein stochastisches Optimierungsproblem der Form min_x F(x) = E_ξ[l(x; ξ)], wobei F(x) nicht-konvex sein kann. Klassische Konvergenzanalysen setzen eine uniform glatte Funktion voraus, was in der Praxis oft nicht erfüllt ist. Stattdessen wird hier eine allgemeinere Glattheitsbedingung, die (L0, L1)-Glattheit, betrachtet.
Der Hauptbeitrag ist die Entwicklung einer stochastischen Quasi-Newton-Methode, die diese nicht-uniforme Glattheit berücksichtigt. Durch den Einsatz von Gradientenclipping und Varianzreduktion kann die Methode eine optimale Stichprobenkomplexität von O(ǫ-3) erreichen, um eine ǫ-approximative Lösung zu finden. Außerdem wird eine adaptive L-BFGS-basierte Variante vorgestellt, die die Eigenwerte der Hessianapproximation kontrolliert und so die Konvergenzgeschwindigkeit steuern kann.
Numerische Experimente zeigen, dass der vorgeschlagene Algorithmus die Leistung bestehender Ansätze übertrifft.
Статистика
Es gibt keine expliziten Statistiken oder Zahlen im Artikel.
Цитаты
Es gibt keine hervorstechenden Zitate im Artikel.