Der Artikel stellt einen neuen stochastischen, uneingeschränkten Optimierungsalgorithmus namens Stochastische Modellbildung (SMB) vor, um Probleme der Form min_x E[F(x, ξ)] zu lösen. SMB verwendet einen Modellbildungsansatz, um nicht nur die Schrittlänge, sondern auch die Suchrichtung anzupassen. Im Gegensatz zu herkömmlichen stochastischen quasi-Newton-Verfahren verwendet SMB die jüngsten Krümmungsinformationen um den aktuellen Iterationspunkt. Da Modellparameter in Gruppen auftreten, baut SMB ein Modell für jede Parametergruppe separat, was zu adaptiven Schrittlängen führt.
Die Autoren analysieren die Konvergenz einer modifizierten Version von SMB, bei der die Skalierungsmatrix mit einem neuen unabhängigen Batch berechnet wird. Die numerischen Ergebnisse zeigen, dass SMB schnell konvergiert und seine Leistung unempfindlich gegenüber der gewählten Schrittlänge ist. SMB übertrifft andere bekannte Methoden wie Adam und stochastische Liniensuche auf Standarddatensätzen für Bildklassifizierung.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by S. Ilker Bir... klokken arxiv.org 03-14-2024
https://arxiv.org/pdf/2111.07058.pdfDypere Spørsmål