Optimierung der geschachtelten stochastischen Komposition über Riemannsche Mannigfaltigkeiten
Dieser Artikel präsentiert einen Riemannschen stochastischen Kompositionsgradienten-Abstiegsalgorithmus (R-SCGD), um Optimierungsprobleme mit geschachtelter stochastischer Komposition über Riemannsche Mannigfaltigkeiten zu lösen. Der Algorithmus approximiert den Wert der inneren Funktion(en) unter Verwendung eines gleitenden Durchschnitts, der durch Informationen erster Ordnung korrigiert wird, und seine Parameter befinden sich in derselben Zeitskala wie die Schrittweite der Variablenaktualisierung. Es wird gezeigt, dass der Algorithmus eine Komplexität von O(1/ε^2) aufweist, um eine ε-approximative stationäre Lösung zu erhalten.
Effiziente Optimierung der geschachtelten Komposition von Funktionen auf Riemannschen Mannigfaltigkeiten
Wir präsentieren ein Riemannsches stochastisches Kompositionsgradienten-Verfahren (R-SCGD), um die Komposition von zwei oder mehreren Funktionen mit Erwartungswerten auf Riemannschen Mannigfaltigkeiten zu lösen. Der vorgeschlagene Algorithmus, der durch den Riemannschen Gradientenfluss motiviert ist, approximiert den/die Wert(e) der inneren Funktion(en) unter Verwendung eines gleitenden Durchschnitts, der durch Informationen erster Ordnung korrigiert wird, und dessen Parameter in der gleichen Zeitskala wie die Schrittweite der Variablenaktualisierung liegen.
© 2024 by Linnk AI