核心概念
適応的立方体正則化手法では、非凸問題の試行ステップの効率的な計算が重要である。本研究では、この立方体モデルを低次元部分空間で最小化する新しい手法を提案する。この部分空間は複数の反復で再利用され、試行ステップが不十分な場合は正則化ニュートンステップを使用する。この手法は、直接線形ソルバーが利用可能な大規模な問題クラスに焦点を当てており、従来の手法と比べて著しい計算コスト削減を示す。
摘要
本研究では、非凸最適化問題の数値解法として、適応的立方体正則化(AR2)手法に基づく新しい手法「Frozen AR2 (FAR2)」を提案している。
FAR2の主な特徴は以下の通り:
- 立方体モデルを低次元の部分空間で最小化する。この部分空間は複数の反復で再利用される。
- 部分空間最小化で得られた解が不十分な場合は、正則化ニュートンステップを使用する。正則化パラメータはこの部分空間最小化の副産物として得られる。
- 直接線形ソルバーが利用可能な大規模な問題クラスを対象としており、従来手法と比べて著しい計算コスト削減を示す。
- 部分空間の選択として、まず多項式Krylov部分空間を採用し、さらに有理Krylov部分空間も検討している。
FAR2の主な利点は、ヘッシアン行列の分解の大幅な削減にある。数値実験の結果、部分空間の更新は全反復の1.8%程度しか行われず、secant法もほとんど呼び出されない。その結果、多くの反復で1回の分解で済むことが示された。
統計資料
非凸最適化問題の最適化手法であるAR2の最悪ケース反復計算量はO(ε^(-3/2))である。
本研究で提案するFAR2手法は、AR2と同等の最悪ケース反復計算量を維持する。