Core Concepts
Durch den Einsatz von quadratischem Abstimmen (Quadratic Voting) anstelle des Prinzips "eine Person, eine Stimme" (One Person, One Vote) kann die Verwundbarkeit föderierter Lernverfahren gegenüber Vergiftungsangriffen reduziert werden.
Abstract
Der Artikel präsentiert FEDQV, einen neuartigen Aggregationsalgorithmus für föderiertes Lernen, der auf dem Konzept des quadratischen Abstimmens basiert. Im Gegensatz zum herkömmlichen FEDAVG-Verfahren, das auf dem Prinzip "eine Person, eine Stimme" beruht und anfällig für Vergiftungsangriffe ist, nutzt FEDQV ein Abstimmungsschema, bei dem die Stimmgewichte quadratisch mit der Ähnlichkeit des lokalen Modells zum globalen Modell zusammenhängen.
Die Kernelemente von FEDQV sind:
Berechnung der Ähnlichkeit des lokalen Modells zum globalen Modell durch die Teilnehmer
Zuweisung von Stimmgewichten durch den Server basierend auf dem quadratischen Abstimmungsschema
Mechanismus zur Sicherstellung der Wahrhaftigkeit, bei dem die genaue Berechnung der Stimmgewichte für die Teilnehmer verborgen bleibt
Möglichkeit der Kombination mit ungleichen Stimmbudgets, die auf Basis von Reputation zugewiesen werden
Die theoretische Analyse zeigt, dass FEDQV ein wahrheitsgemäßer Mechanismus ist und eine Konvergenzrate erreicht, die mit state-of-the-art-Methoden vergleichbar ist. Die empirischen Ergebnisse belegen, dass FEDQV deutlich robuster gegenüber Vergiftungsangriffen ist als FEDAVG. Die Kombination von FEDQV mit einem Reputationsmodell zur Zuweisung ungleicher Stimmbudgets erhöht die Robustheit weiter.
Darüber hinaus kann FEDQV nahtlos in bestehende byzantinisch-robuste Verteidigungsmechanismen für föderiertes Lernen integriert werden, um deren Leistung zu verbessern.
Stats
Die Genauigkeit des globalen Modells, das mit FEDQV trainiert wurde, ist um mindestens 26% höher als die des Basisverfahrens FEDAVG unter Vergiftungsangriffen.
FEDQV übertrifft FEDAVG bei lokalen Modellvergiftungsangriffen wie Krum und Trim um mindestens das 4-Fache in Bezug auf die Genauigkeit.
Die Kombination von FEDQV mit einem Reputationsmodell zur Zuweisung ungleicher Stimmbudgets verbessert die Robustheit gegen Vergiftungsangriffe um mindestens 26% im Vergleich zum Basisverfahren FEDQV mit gleichen Budgets.
Quotes
"FEDQV ist ein wahrheitsgemäßer Mechanismus und ist theoretisch und empirisch mit FEDAVG in Bezug auf Genauigkeit und Konvergenz unter Angriffs- und Nicht-Angriffs-Szenarien kompatibel."
"Die Kombination von FEDQV mit etablierten byzantinisch-robusten FL-Verteidigungsmechanismen führt zu erheblichen Verbesserungen der Genauigkeit und Reduzierungen der Angriffserfolgssrate im Vergleich zu den ursprünglichen Verteidigungsmethoden."