Core Concepts
(L0, L1)-smoothnessを考慮した非凸最適化における高速な確率的準ニュートン法の提案とその性能評価。
Abstract
伝統的な収束解析は均一な滑らかさを前提としているが、実験的証拠から均一でない滑らかさが重要であることが示唆されている。
提案手法は勾配クリッピング技術を活用し、最適なO(ǫ−3)サンプル複雑度を達成する。
アダプティブL-BFGSアルゴリズムにより、ヘシアン逆行列の固有値を制御し、収束速度を調整可能。
数値実験では、提案手法が他の既存アルゴリズムよりも優れた性能を示すことが示されている。
Introduction
最適化アルゴリズムの収束解析は通常均一な滑らかさ条件に依存している。
勾配情報だけでは曲率特性を捉えきれず、ニュートン法は精度向上が可能だが計算コストが高い。
SQN方法は第二勾配情報を利用し、効率性や精度に優れていることが知られている。
A Clipped Stochastic Quasi-Newton Method
非凸ロバスト線形回帰問題における提案手法の数値パフォーマンス比較。
非凸ロジスティック回帰問題における提案手法の数値パフォーマンス比較。
Experiments
ロバスト線形回帰問題ではSQN方法が速く収束する一方、提案手法はより小さいトレーニングエラーを達成。
ロジスティック回帰問題でも他のアルゴリズムよりも提案手法が速く正確に収束することが示された。
Stats
"Nevertheless, the studies of quasi-Newton methods are still lacking."
"Under this type of non-uniform smoothness, existing literature has designed stochastic first-order algorithms by utilizing gradient clipping techniques to obtain the optimal O(ǫ−3) sample complexity for finding an ǫ-approximate first-order stationary solution."
Quotes
"Classical convergence analyses for optimization algorithms rely on the widely adopted uniform smoothness assumption."
"Recent experimental evidence has revealed that the Lipschitz constant of the objective smoothness grows in the gradient norm along the training trajectory."