Główne pojęcia
국소 Hölder 연속성을 가진 문제에서 적응형 프록시말 경사 하강법의 전역 수렴성을 보장하는 프레임워크를 제안한다. 이를 통해 Barzilai-Borwein 및 Anderson 가속 등의 스텝사이즈 선택을 안전하게 사용할 수 있다.
Streszczenie
이 논문은 국소 Hölder 연속성을 가진 볼록 최적화 문제에서 적응형 프록시말 경사 하강법의 전역 수렴성을 보장하는 프레임워크를 제안한다.
주요 내용은 다음과 같다:
최근 연구에서 제안된 adaPGπ,π/2 알고리즘을 활용하여, Barzilai-Borwein 및 Anderson 가속 등의 다양한 스텝사이즈 선택 기법을 안전하게 사용할 수 있는 방법을 제시한다.
제안하는 프레임워크는 세 가지 조건을 만족하면 된다: (i) adaPGπ,π/2의 스텝사이즈 업데이트를 초과하지 않을 것, (ii) 과거 고정점 잔차를 기반으로 스텝사이즈를 아래로 제한할 것, (iii) 과거 반복 정보를 활용할 것.
이를 통해 국소 Hölder 연속성 하에서도 adaPGπ,π/2가 다양한 스텝사이즈 선택을 안전하게 보장할 수 있음을 보였다. 또한 adaPGπ,π/2 자체에 대한 수렴 속도 분석도 개선하였다.
제안한 프레임워크에 부합하는 다양한 스텝사이즈 선택 기법들을 소개하고, 실험을 통해 그 효과를 입증하였다. 특히 Anderson 가속이 가장 우수한 성능을 보였다.
Statystyki
국소 Hölder 연속성 가정에 따르면 ∇f(x) - ∇f(y) ≤ LΩ,ν ||x - y||ν 가 성립한다.
알고리즘 1에서 λmin,ν = min{1/√(2πLΩ,ν), λΩ,ν/ρm-1max}가 성립한다.
Cytaty
"Leveraging on recent advancements on adaptive methods for convex minimization problems, this paper provides a linesearch-free proximal gradient framework for globalizing the convergence of popular stepsize choices such as Barzilai-Borwein and one-dimensional Anderson acceleration."
"Our analysis not only encompasses but also refines existing results upon which it builds."