Główne pojęcia
従来のL-smoothnessよりも緩和された一般化ℓ-smoothness条件下においても、基本的な多目的最適化アルゴリズムであるMGDAとその確率的変種の収束が証明され、効率的な更新を実現するMGDA-FAも提案された。
Streszczenie
多目的最適化における一般化された滑らかさ条件下でのMGDAの収束証明
本論文は、多層パーセプトロン、LSTM、Transformerなどのニューラルネットワークの学習で頻繁に観察される、従来のL-smoothness条件よりも緩和された、一般化ℓ-smoothness条件下における、多目的最適化アルゴリズムMGDAの収束証明に関する研究論文である。
一般化ℓ-smoothness条件下において、MGDAは証明可能に収束するのか?
収束する場合、どの程度のCA距離を達成できるのか?
多目的最適化(MOO)は、複数の目的関数を同時に最適化する問題であり、マルチタスク学習などの分野で注目されています。従来のMOOアルゴリズムは、L-smoothnessや勾配の上限などの強い仮定に依存していましたが、ニューラルネットワークの学習では、これらの仮定が必ずしも成り立たないことが明らかになっています。