Core Concepts
SGD-exp bietet lineare Konvergenzgarantien für robuste Regression unter Massart-Rauschen.
Abstract
Einleitung:
Robuste Regression zielt darauf ab, Ausreißer in Daten zu berücksichtigen.
Stochastische Algorithmen wie SGD sind in der Hochdimensionalität effektiv.
Robuste lineare und ReLU-Regression:
Robuste Regression ist wichtig in Statistik und ML.
ReLU-Regression gewinnt aufgrund von Neural Networks an Bedeutung.
Korruptionsmodelle:
Adversarial Korruptionsmodelle beeinflussen die Daten.
Massart-Rauschenmodell wird für die robuste Regression betrachtet.
Beitragszusammenfassung:
SGD-exp bietet Konvergenzgarantien für lineare und ReLU-Regression.
Erste nahezu lineare Konvergenzgarantien für robuste Regression unter Massart-Rauschen.
SGD mit exponentiellem Schrittgrößenabfall:
Exponentielle Schrittgrößenabnahme in SGD ist effizient.
SGD-exp nutzt dieses Konzept für robuste Regression in Echtzeit.
Organisation:
Theoretische Ergebnisse, Beweise und empirische Evidenz werden diskutiert.
Stats
Unsere Analyse basiert auf der Wahl von λ gemäß 1 < λ² ≤ 1 + eC²(1 - 2p)² * 9d < 50/49.
Quotes
"SGD-exp bietet (nahezu) lineare Konvergenzgarantien für Korruptionswahrscheinlichkeiten unter 0,5."