Der Artikel präsentiert FedFisher, einen neuen Algorithmus für One-Shot Federated Learning (FL). Standardmäßige FL-Algorithmen erfordern mehrere Kommunikationsrunden zwischen Server und Kunden, was Nachteile wie ständige Netzwerkkonnektivität, wiederholten Ressourceneinsatz und Anfälligkeit für Datenschutzangriffe mit sich bringt.
FedFisher nutzt stattdessen eine Bayessche Perspektive auf FL, um das globale Modell in einem einzigen Kommunikationsschritt zu trainieren. Dafür berechnen die Kunden ihre lokalen Fisher-Informationsmatrizen und senden diese an den Server. Dieser kann dann die globale Posterior-Verteilung approximieren und daraus das globale Modell ableiten.
Die Autoren analysieren FedFisher theoretisch für überparametrisierte Zwei-Schichten-Neuronale-Netze und zeigen, dass der Fehler des globalen Modells gegen null geht, wenn die Netzwerkbreite und das lokale Training der Kunden zunehmen. Außerdem präsentieren sie praktische Varianten von FedFisher, die die Diagonal-Fisher und K-FAC-Approximation verwenden, um Kommunikations- und Recheneffizienz zu erreichen.
Umfangreiche Experimente auf verschiedenen Datensätzen zeigen, dass diese Varianten von FedFisher die Genauigkeit im Vergleich zu konkurrierenden One-Shot-Baselines konsistent um 5-10% verbessern.
To Another Language
from source content
arxiv.org
Дополнительные вопросы