Основные понятия
リーマンマニフォールド上の関数の合成最適化に焦点を当て、R-SCGDアルゴリズムを提案しました。
Аннотация
この記事は、リーマンマニフォールド上の関数の合成最適化について詳しく説明しています。以下は記事の構造と要点です:
Abstract:
- 合成関数の最適化におけるリーマンマニフォールド上での問題が増加している。
- R-SCGDアルゴリズムは、内部関数の期待値を近似するために開発された。
Introduction:
- リーマンマニフォールド上での2階層合成最適化問題を考えている。
- 内部関数と外部関数のバイアスが問題となっている。
Related Work:
- リーマンマニフォールドでの確率的勾配降下法について研究が進んでいる。
- 多くの変異削減技術がSGDのサンプル複雑性を改善するために提案されている。
Contributions:
- 2つ以上の関数を含む期待値形式で合成最適化問題を解決するアルゴリズムを提案した。
- 提案手法はO(1/ϵ^2) のサンプル複雑性でϵ近似定常解を得られる。
Numerical Studies:
- 提案手法は従来手法よりも優れたパフォーマンスを示すことが示されています。
Статистика
"Riemannian SGD converges to a critical point of the problem."
"Expected squared Riemannian gradient smaller than ϵ in O(ϵ−2) calls."
"Sample complexity of O(1/ϵ2) for the proposed algorithms."
Цитаты
"The Riemannian stochastic gradient method cannot be directly applied."
"A special algorithmic setup is required to tackle this type of problem."