Kernkonzepte
Effiziente Approximationsalgorithmen für 1-Center- und 1-Mean-Clustering mit Ausreißern bieten nahezu optimale Garantien für robuste Aggregationsregeln in verteiltem Lernen.
Zusammenfassung
Der Artikel untersucht resiliente Aggregationsregeln für verteiltes maschinelles Lernen unter Berücksichtigung von Ausreißern. Die Autoren schlagen vor, Probleme des 1-Center- und 1-Mean-Clustering mit Ausreißern zu verwenden, um nahezu optimale Aggregationsregeln zu konstruieren.
Zunächst werden die Konzepte der (f, λ)-resilient averaging, (δmax, ζ)-agnostic robust, (f, κ)-robust und (f, ξ)-robust averaging Aggregationsregeln eingeführt, die wichtige Kriterien für die Robustheit in verteiltem Lernen darstellen.
Die Autoren zeigen, dass effiziente 2-Approximationsalgorithmen für die 1-Center- und 1-Mean-Clustering-Probleme mit Ausreißern diese Kriterien nahezu optimal erfüllen. Insbesondere erreichen die vorgeschlagenen Aggregationsregeln die besten bekannten Schranken für die verschiedenen Robustheitskriterien.
Darüber hinaus diskutieren die Autoren zwei gegensätzliche Arten von Angriffen, bei denen kein einzelner Aggregationsalgorithmus in allen Fällen besser abschneidet als andere. Um damit umzugehen, schlagen sie ein zweiphasiges Aggregationsverfahren vor, bei dem der Server zwei Kandidatenmodelle vorschlägt und die Kunden dann eines davon wählen.
Schließlich zeigen die Autoren in Experimenten für die Bildklassifizierung, dass die vorgeschlagenen Algorithmen deutlich bessere Leistung zeigen als bekannte Aggregationsregeln, sowohl bei homogenen als auch bei heterogenen Datensätzen unter verschiedenen Angriffsszenarien.
Statistiken
Die Leistung der Aggregationsalgorithmen wird unter verschiedenen Angriffsraten von 0,1, 0,2 und 0,4 getestet.
Die Genauigkeit der Cent2P-Methode beträgt mindestens 0,62 unter den getesteten Angriffen.
Die Genauigkeit der Mean2P-Methode beträgt mindestens 0,61 unter den getesteten Angriffen.
Zitate
"Effiziente Approximationsalgorithmen für 1-Center- und 1-Mean-Clustering mit Ausreißern bieten nahezu optimale Garantien für robuste Aggregationsregeln in verteiltem Lernen."
"Kein einzelner Aggregationsalgorithmus schneidet in allen Fällen besser ab als andere, was ein Dilemma schafft."