Conceitos essenciais
Der Beitrag präsentiert einen innovativen Unterraum-basierten Rahmen - LancBiO - für die Bilevel-Optimierung, der eine effiziente und genaue Approximation des Hessian-Inverse-Vektor-Produkts im Hyper-Gradienten ermöglicht.
Resumo
Der Artikel befasst sich mit der Bilevel-Optimierung, bei der eine obere und eine untere Ebene ineinander verschachtelt sind. Ein Kernproblem ist die Berechnung des Hyper-Gradienten, der das Hessian-Inverse-Vektor-Produkt beinhaltet und rechenintensiv ist.
Der Beitrag entwickelt einen innovativen Unterraum-basierten Rahmen namens LancBiO, der die Krylov-Unterräume und den Lanczos-Prozess nutzt, um das Hessian-Inverse-Vektor-Produkt effizient und genau zu approximieren:
LancBiO konstruiert dynamisch niedrigdimensionale Unterräume, die auf dem Krylov-Unterraum basieren und das große lineare Teilproblem auf ein kleines tridiagonales lineares System reduzieren.
Dieser Prozess ermöglicht es, das Hessian-Inverse-Vektor-Produkt über die Außeniterationen hinweg dynamisch und inkrementell zu approximieren und so eine verbesserte Schätzung des Hyper-Gradienten zu erhalten.
Zur Stabilisierung des dynamischen Prozesses führt LancBiO einen Neustart-Mechanismus und eine Residuen-Minimierung ein.
Die theoretische Analyse zeigt, dass LancBiO global konvergent ist und eine Konvergenzrate von O(ε^-1) erreicht.
Die Experimente auf einem synthetischen Problem und zwei Deep-Learning-Aufgaben belegen die Effizienz von LancBiO.
Estatísticas
Die Anzahl der Hessian-Vektor-Produkte beträgt im Durchschnitt (1 + 1/m) pro Außeniterationen, wobei m die Dimension des Unterraums ist.
Citações
Keine relevanten Zitate gefunden.