本研究の主な内容は以下の通りである:
非凸最適化問題におけるアダムアルゴリズムの収束性を理論的に分析し、適切な定数ステップサイズを導出した。これは、アダムの収束性を理論的に保証した初めての研究である。
決定論的および確率的アダムの収束性について、滑らかな非凸関数に対する収束時間の上界を示した。
損失関数のリプシッツ定数を効率的に推定する新しい手法を提案し、その推定値が真のリプシッツ定数に収束することを示した。提案するステップサイズはこのリプシッツ定数に依存する。
実験的に、アダムの収束性において過去勾配の蓄積よりも学習率の減少が主要な役割を果たすことを示した。
提案するステップサイズを用いたアダムが、他の学習率スケジューラや一定の学習率よりも効果的に勾配ノルムを減少させ、高い検証精度に収束することを実証的に示した。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문