Die Studie untersucht den Primal-Dual-Hybrid-Gradient-Algorithmus (PDHG) zur effizienten Lösung von Optimierungsproblemen, insbesondere der verallgemeinerten Lasso-Aufgabe.
Zunächst wird durch Dimensionsanalyse ein System hochauflösender gewöhnlicher Differenzialgleichungen (ODGs) für PDHG abgeleitet. Dieses System erfasst die gekoppelten x-Korrekturen und y-Korrekturen, die ein wesentliches Merkmal von PDHG sind und es vom Proximal-Arrow-Hurwicz-Algorithmus unterscheiden. Die kleine, aber wesentliche Störung stellt sicher, dass das Variablenpaar (X, Y) konsistent konvergiert und das periodische Verhalten des Proximal-Arrow-Hurwicz-Algorithmus vermeidet.
Ausgehend vom System hochauflösender ODGs wird eine quadratische Lyapunov-Funktion konstruiert, die in der kontinuierlichen Formulierung monoton abnimmt. Diese Analyse überträgt sich nahtlos auf den diskreten PDHG-Algorithmus. Es zeigt sich, dass der numerische Fehler aufgrund der impliziten Diskretisierung zu einer Konvergenzrate von O(1/N) für PDHG führt, was dem bei ADMM beobachteten Phänomen entspricht.
Darüber hinaus wird entdeckt, dass wenn die Zielfunktion f stark konvex ist, der iterative Durchschnitt von PDHG mit einer Rate von O(1/N) stark konvergiert. Dies ist in praktischen Anwendungen wie der verallgemeinerten Lasso-Aufgabe relevant.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Bowen Li,Bin... ב- arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.11139.pdfשאלות מעמיקות