核心概念
提案するアルゴリズムは、次元依存性がO(dδ^-1ε^-3)であり、これは最適である。また、滑らかな目的関数に対しても最適な収束率を達成する。
摘要
本論文では、Lipschitz連続だが滑らかでも凸でもない確率目的関数を最適化する問題を扱う。ノイズのある関数評価のみを利用する確率ゼロ次元アルゴリズムを提案する。
最近の研究では、このような問題に対するアルゴリズムが次元依存性O(d^3/2)を持つことが示されていた。本論文では、この次元依存性を改善した新しいアルゴリズムを提案する。提案アルゴリズムの次元依存性はO(dδ^-1ε^-3)であり、これは最適である。さらに、滑らかな目的関数に対しても最適な収束率を達成する。
提案アルゴリズムの鍵となるのは、ゴールドシュタイン δ-部分微分集合に関する新しい補題である。この補題により、滑らかな関数に対する最適なアルゴリズムを非滑らかノンコンベックス問題に適用できるようになる。これにより、次元依存性を大幅に改善できる。
提案アルゴリズムは、期待値収束保証に加えて、高確率収束保証も持つ。これは、ノイズのある関数評価しか利用できない設定では重要である。
統計資料
ノイズのある関数評価の総数はO(dL^2_0Δ/δε^3)である。
ノイズのある関数評価の総数は高確率保証の場合、O((dL^2_0Δlog(1/γ)/δε^3) + (dL^2_0log^2(1/γ)/γε^2))である。
引述
"提案するアルゴリズムは、次元依存性がO(dδ^-1ε^-3)であり、これは最適である。また、滑らかな目的関数に対しても最適な収束率を達成する。"
"ゴールドシュタイン δ-部分微分集合に関する新しい補題が、提案アルゴリズムの鍵となっている。"