이 논문은 NAG(Nesterov's accelerated gradient descent)와 FISTA(fast iterative shrinkage-thresholding algorithm) 알고리즘이 강한 볼록 함수에 대해 선형 수렴을 달성할 수 있음을 보여준다. 이는 기존에 알려진 바와 달리, 강한 볼록성의 모듈러스에 대한 사전 지식 없이도 가능하다.
논문의 주요 내용은 다음과 같다:
고해상도 ODE(ordinary differential equation) 프레임워크를 활용하여 NAG의 선형 수렴을 증명한다. 이때 동적으로 적응하는 운동 에너지 계수를 포함한 새로운 Lyapunov 함수를 제안한다.
강한 볼록성에 대한 핵심 부등식을 일반화하여 근사 최적화 문제에 적용할 수 있도록 한다. 이를 통해 FISTA의 선형 수렴과 근사 gradient norm의 선형 수렴을 보장한다.
NAG와 FISTA의 선형 수렴 속도가 파라미터 r에 의존하지 않음을 보인다.
이러한 결과는 강한 볼록성의 모듈러스에 대한 사전 지식 없이도 NAG와 FISTA가 선형 수렴을 달성할 수 있음을 보여준다.
Para outro idioma
do conteúdo fonte
arxiv.org
Principais Insights Extraídos De
by Bowen Li,Bin... às arxiv.org 04-10-2024
https://arxiv.org/pdf/2306.09694.pdfPerguntas Mais Profundas