Belangrijkste concepten
Teilweise Weitergabe von Modellschätzungen erhöht die Robustheit des PSO-Fed-Algorithmus gegen Modellvergiftungsangriffe.
Samenvatting
Die Studie analysiert die Widerstandsfähigkeit des teilweisen Weitergabe-Online-Federated-Learning (PSO-Fed)-Algorithmus gegen Modellvergiftungsangriffe. PSO-Fed reduziert die Kommunikationslast, indem die Clients nur einen Teil ihrer Modellschätzungen mit dem Server in jeder Aktualisierungsrunde austauschen. Die teilweise Weitergabe von Modellschätzungen erhöht auch die Robustheit des Algorithmus gegen Modellvergiftungsangriffe.
Die Analyse zeigt, dass PSO-Fed sowohl im Mittel als auch im mittleren Quadrat konvergiert, selbst unter der Belastung durch Modellvergiftungsangriffe. Es wird die theoretische mittlere quadratische Abweichung (MSE) von PSO-Fed abgeleitet und mit verschiedenen Parametern wie Schrittweite, Angriffswahrscheinlichkeit, Anzahl der byzantinischen Clients, Teilnahmerate der Clients, Teilungsverhältnis und Rauschvarianz in Verbindung gebracht. Es wird auch gezeigt, dass es eine nichttriviale optimale Schrittweite für PSO-Fed bei Modellvergiftungsangriffen gibt.
Die Ergebnisse umfangreicher numerischer Experimente bestätigen die theoretischen Aussagen und heben die überlegene Fähigkeit von PSO-Fed hervor, byzantinische Angriffe zu bewältigen und andere führende Algorithmen zu übertreffen.
Statistieken
Die Wahrscheinlichkeit eines byzantinischen Clients, seinen lokalen Schätzwert zu manipulieren, beträgt pa.
Die Varianz des Manipulationsrauschens der byzantinischen Clients beträgt σ2
B.
Die Anzahl der byzantinischen Clients im Netzwerk beträgt |SB|.
Citaten
"Teilweise Weitergabe in Online-FL, die in erster Linie auf die Verbesserung der Kommunikationseffizienz abzielt, bietet auch den zusätzlichen Vorteil, die nachteiligen Auswirkungen von Modellvergiftungsangriffen abzumildern."
"Ein Schlüsselergebnis unserer Analyse ist die Identifizierung einer nichttrivialen optimalen Schrittweite für PSO-Fed bei Modellvergiftungsangriffen."