登入
洞見 - ミニマックス最適化
適応的で最適化された2次オプティミスティック手法によるミニマックス最適化
本稿では、勾配やヘッセ行列の局所的な情報に適応しながらステップサイズを調整する、パラメータフリーでラインサーチフリーな2次オプティミスティック手法を提案し、凸凹ミニマックス問題の解決における最適な収束率を達成することを目指しています。
制約がミニマックス最適化の計算複雑性に及ぼす影響について
制約は、ミニマックス最適化問題の計算複雑さを左右する重要な要素であり、従来考えられていたよりもはるかに重要な役割を果たしている。
非凸-凹ミニマックス最適化のためのシャッフル勾配ベース手法
本稿では、非凸-線形および非凸-強凹の2種類のミニマックス問題を解決するための、新しいシャッフル勾配ベースの手法を提案する。
制約付きミニマックス最適化のための一次拡張ラグランジュ法
制約付きミニマックス問題を解くための効率的な一次拡張ラグランジュ法を提案し、そのアルゴリズムの収束性と計算量を理論的に解析する。
遅延ヘシアンを用いた2次凸凹ミニマックス最適化
本稿では、計算コストを削減するために過去の反復からヘシアン情報を再利用する、遅延ヘシアンを用いた効率的な2次凸凹ミニマックス最適化手法を提案し、その収束性を理論的に解析している。
ミニマックス問題のリスク境界の改善に向けて
本稿では、機械学習におけるミニマックス問題の汎化誤差境界を改善することで、よりタイトなリスク境界を導出しています。特に、一様局所収束の概念とジェネリックチェーンを用いることで、従来のRademacher複雑性に基づく手法よりもシャープな境界を得ています。さらに、Polyak-Lojasiewicz条件下では次元非依存の結果も示しており、従来手法では困難であった次元数dの影響を排除することに成功しています。
分散型非凸強凹ミニマックス問題のための分散縮小を伴うシャッフル勾配降下上昇法
本稿では、非凸強凹ミニマックス問題を効率的に解決するために、分散縮小技術とシャッフルサンプリングスキームを組み合わせた新しい確率的勾配降下上昇アルゴリズムを提案する。
© 2024 by Linnk AI