Asymptotische Genauigkeit von Spektralalgorithmen bei der Generalisierung

Der Artikel untersucht den Generalisierungsfehler von Spektralalgorithmen, die durch ein Profil h(λ) spezifiziert sind und sowohl Kernel Ridge Regression (KRR) als auch Gradientenabstieg (GD) als Spezialfälle enthalten. Es werden zwei Datenmodelle betrachtet - ein hochdimensionales Gaußmodell und ein niedrigdimensionales translationsinvariantes Modell. Unter Annahme von Potenzgesetzen für das Spektrum des Kernels und der Zielfunktion werden vollständige Verlustasymptotiken für verrauschte und rauschfreie Beobachtungen hergeleitet. Dabei zeigt sich, dass der Verlust auf bestimmten spektralen Skalen lokalisiert ist, was ein neues Verständnis des KRR-Sättigungsphänomens ermöglicht. Außerdem wird vermutet und für die betrachteten Datenmodelle gezeigt, dass der Verlust in Bezug auf nicht-spektrale Details des Problems universell ist, aber nur im Falle verrauschter Beobachtungen.