Der Artikel befasst sich mit stochastischen Optimierungsproblemen, die Markov-Rauschen beinhalten. Es wird ein einheitlicher Ansatz für die theoretische Analyse von Gradientenmethoden erster Ordnung für stochastische Optimierung und Variationsungleichungen präsentiert.
Der Ansatz deckt sowohl nicht-konvexe als auch stark konvexe Minimierungsprobleme ab. Um eine optimale (lineare) Abhängigkeit von der Mischzeit der zugrunde liegenden Rauschsequenz zu erreichen, wird ein randomisiertes Batch-Größen-Schema verwendet, das auf der Multilevel-Monte-Carlo-Methode basiert.
Darüber hinaus ermöglicht die Technik das Eliminieren der einschränkenden Annahmen früherer Forschungsarbeiten zum Markov-Rauschen, wie die Notwendigkeit eines begrenzten Definitionsbereichs und gleichmäßig beschränkter stochastischer Gradienten.
Die Erweiterung auf Variationsungleichungen unter Markov-Rauschen ist originell. Zusätzlich werden untere Schranken angegeben, die die Orakelkomplexität unserer Methode im Fall stark konvexer Optimierungsprobleme widerspiegeln.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문