Core Concepts
RMSProp과 그 모멘텀 확장의 ℓ1 노름으로 측정된 수렴률이 O(
√
d/T^{1/4})임을 보였다.
Abstract
이 논문은 RMSProp과 그 모멘텀 확장의 수렴률을 분석하였다. 주요 내용은 다음과 같다:
RMSProp과 모멘텀 RMSProp 알고리즘을 소개하고 수렴률을 분석하였다.
기존 연구와 달리 ℓ1 노름을 사용하여 수렴률을 측정하였다. 이를 통해 차원 d에 대한 의존성을 완화할 수 있었다.
수렴률이 O(
√
d/T^{1/4})로, 기존 연구보다 향상된 결과를 보였다. 이는 SGD의 수렴률과 유사한 수준이다.
실험 결과를 통해 실제 딥러닝 문제에서 ∥∇f(x)∥1 = Θ(
√
d∥∇f(x)∥2)가 성립함을 보였다.
Stats
∥∇f(xk)∥1 ≤ O(
√
d/T^{1/4} * 4√σ^2_sL(f(x_1) - f^*))
∥∇f(xk)∥1 ≤ O(
√
d/√T * √L(f(x_1) - f^*))
Quotes
"RMSProp과 그 모멘텀 확장의 ℓ1 노름으로 측정된 수렴률이 O(
√
d/T^{1/4})임을 보였다."
"실험 결과를 통해 실제 딥러닝 문제에서 ∥∇f(x)∥1 = Θ(
√
d∥∇f(x)∥2)가 성립함을 보였다."