本論文では、ハイパーパラメータ学習の問題をバイレベル最適化問題として定式化し、近似的な勾配情報を用いて効率的に解く手法を提案している。
主な内容は以下の通り:
下位問題の解を高精度に求める必要がなく、動的に精度を調整できる手法を提案した。これにより、全体の計算コストを削減できる。
正確な目的関数値が得られないため、従来の線形探索手法は使えない。そこで、近似的な目的関数値と勾配を用いて十分な減少を保証する新しい線形探索手法を提案した。
提案手法の収束性を理論的に示し、数値実験により、従来手法に比べて優れた性能を示した。特に、ロバスト性が高く、ハイパーパラメータの初期値に依存しない。
画像処理や機械学習の様々な問題に適用し、ハイパーパラメータの学習に有効であることを示した。
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Mohammad Sad... klo arxiv.org 04-12-2024
https://arxiv.org/pdf/2308.10098.pdfSyvällisempiä Kysymyksiä