Core Concepts
Die Mehrheitsentscheidung von drei empirischen Risikominimierern (ERM) erreicht die optimale Fehlergrenze in Erwartung und ist nahezu optimal mit hoher Wahrscheinlichkeit.
Abstract
Der Artikel untersucht den möglicherweise einfachsten optimalen Lernalgorithmus im realisierbaren PAC-Lernkontext: die Mehrheitsentscheidung von drei ERM-Klassifikatoren.
Zunächst wird gezeigt, dass dieser Algorithmus die optimale Fehlergrenze in Erwartung erreicht, die von früheren Arbeiten wie dem One-Inclusion-Graph-Algorithmus bewiesen wurde. Der Beweis ist dabei deutlich einfacher als für komplexere optimale Algorithmen.
Anschließend wird ein hochwahrscheinlicher Fehlernachweis für den Mehrheitsentscheidungsalgorithmus präsentiert. Dieser ist fast optimal, bis auf einen logarithmischen Faktor in der Logfunktion. Es wird vermutet, dass eine bessere Analyse den Mehrheitsentscheidungsalgorithmus als tatsächlich optimal in diesem Regime erweisen könnte.
Darüber hinaus wird ein Gegenbeispiel für einen alternativen Mehrheitsalgorithmus von Simon präsentiert, der suboptimal ist. Dies zeigt, dass die Unabhängigkeit der Teilstichproben, auf denen die ERM-Klassifikatoren trainiert werden, entscheidend für die Optimalität ist.
Stats
Die Fehlerwahrscheinlichkeit eines einzelnen ERM-Klassifikators ist O((d/n) log(n/d) + 1/n log(1/δ)).
Die optimale Fehlergrenze ist Θ((d/n) + 1/n log(1/δ)).
Quotes
"Developing an optimal PAC learning algorithm in the realizable setting, where empirical risk minimization (ERM) is suboptimal, was a major open problem in learning theory for decades."
"We conjecture that a better analysis will prove that this algorithm is in fact optimal in the high-probability regime."