Die Studie untersucht zunächst die Konvergenz des klassischen FedAvg-Algorithmus bei willkürlichen Kundenabbrüchen. Es wird gezeigt, dass Kundenabbrüche zu einer verzerrten Aktualisierung in jeder Trainingsiteration führen können, was dazu führt, dass das gelernte Modell im schlimmsten Fall um einen stationären Punkt der globalen Verlustfunktion oszilliert.
Um diese negativen Auswirkungen zu bekämpfen, schlägt die Studie den MimiC-Algorithmus vor. Der Kerngedanke von MimiC besteht darin, jede empfangene Aktualisierung von aktiven Kunden so zu modifizieren, dass sie eine imaginäre zentrale Aktualisierung imitiert. Dazu führt der Server für jeden aktiven Kunden eine Korrekturvariable ein, die die Abweichung zwischen der lokalen Aktualisierung und der globalen Aktualisierung in früheren Iterationen widerspiegelt.
Die theoretische Analyse zeigt, dass die Abweichung zwischen der aggregierten und der zentralen Aktualisierung bei MimiC mit geeigneten Lernraten gegen Null konvergiert. Darüber hinaus wird gezeigt, dass MimiC unter einer milden Annahme über die maximale Anzahl aufeinanderfolgender Kundenabbrüche-Iterationen konvergiert. Umfangreiche Simulationen bestätigen die Konvergenz von MimiC bei Kundenabbrüchen in verschiedenen Szenarien und zeigen, dass MimiC konsistent bessere Modelle als die Baseline-Methoden erzeugt.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Yuchang Sun,... às arxiv.org 04-09-2024
https://arxiv.org/pdf/2306.12212.pdfPerguntas Mais Profundas