核心概念
高次元決定変数を持つ大規模な確率的サドル点問題を効率的に解決するために、ランダム化ブロック座標 primal-dual 法が提案されています。
摘要
大規模確率的サドル点問題のためのランダム化ブロック座標 primal-dual 法
この論文は、機械学習問題に現れる高次元決定変数を持つ(確率的)凸凹サドル点(SP)問題に対する効率的なアルゴリズムを提案しています。
高次元データと確率的な目的関数を扱う、大規模なサドル点問題に対する効率的な最適化アルゴリズムを開発する。
primal 変数と dual 変数の両方をブロックに分割し、各反復でランダムに選択された primal ブロックと dual ブロックの変数を更新する、ランダム化ブロック座標 primal-dual スキームを採用。
決定論的設定と確率的設定の両方を考慮し、各反復でそれぞれ決定論的部分勾配とそのランダムにサンプリングされた推定値を使用。
異なるブロッキング戦略の下での提案手法の収束性を調査し、対応する計算量の結果を提供。