적응형 최적화 알고리즘 RMSProp과 Adam의 일반화된 비볼록 최적화에서의 수렴 보장

본 논문은 RMSProp과 Adam 알고리즘의 가장 일반화된 가정 하에서의 수렴 보장과 복잡도를 제공한다. 구체적으로 좌표별 일반화된 부드러움(coordinate-wise generalized smoothness)과 선형 잡음 분산(affine noise variance) 가정 하에서 RMSProp과 Adam이 ε-정상점에 수렴함을 보였으며, 이는 기존 연구 결과와 최적 복잡도 하한을 일치시킨다.