本論文では、双対最適化問題を効率的に解くための新しい手法LancBiOを提案している。
主な内容は以下の通り:
双対最適化問題の定式化と課題: 双対最適化問題は上位問題と下位問題が入れ子になった構造を持ち、ヘッセ行列の逆ベクトル積の計算が計算コストの bottleneck となる。
LancBiOの提案: ランチョス法を用いて低次元のクリロフ部分空間を動的に構築し、ヘッセ行列の逆ベクトル積を効率的に近似する。再起メカニズムとレジデュアル最小化を組み合わせることで、部分空間の信頼性と近似精度を確保する。
理論的解析: LancBiOの収束性と収束速度をO(ϵ^-1)で示す。部分空間の性質と動的ランチョス法のダイナミクスを詳細に解析する。
数値実験: 合成問題と深層学習タスクでLancBiOの有効性を実証する。従来手法と比較して、ヘッセ逆ベクトル積の高精度な近似と効率的な最適化を実現している。
本手法は双対最適化問題に対して新しい視点を提供し、ランチョス法の活用により大幅な計算コスト削減を実現している。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Bin Gao,Yan ... ב- arxiv.org 04-05-2024
https://arxiv.org/pdf/2404.03331.pdfשאלות מעמיקות