適応型最適化手法RMSPropとAdamの非凸最適化問題における収束保証

本論文は、座標ごとの一般化滑らかさ(L0, L1)と線形ノイズ分散を仮定した下で、RMSPropとAdamの収束保証と収束速度を示した。両手法とも適切なハイパーパラメータ設定の下で、ε-定常点に収束することを示し、その複雑度はε-4と最適であることを明らかにした。