適応型ステップサイズを用いたヒルベルト空間上のランダムグラジェントディセント

本論文では、勾配の Lipschitz 定数と局所分散を数値的に追跡可能な量として特定し、これらを利用した新しい適応型ステップサイズ手法を提案する。この手法は、ほとんどハイパーパラメータを必要とせず、証明可能な収束性を持ち、画像分類タスクなどの実問題に対して真に問題適応的な振る舞いを示す。