Core Concepts
Das Kernkonzept dieses Artikels ist, dass das vorgeschlagene FedTOP-ADMM-Verfahren eine kommunikationseffizientere und recheneffizientere Methode für föderiertes Lernen darstellt, indem es die Möglichkeit des Lernens sowohl auf der Edge-Server-Seite als auch auf der Edge-Geräte-Seite nutzt.
Abstract
Der Artikel präsentiert einen neuen kommunikationseffizienten und recheneffizienten Rahmen für föderiertes Lernen, der als FedTOP-ADMM bezeichnet wird und auf einer Drei-Operator-ADMM-Methode basiert.
Kernpunkte:
Der Artikel zeigt die Machbarkeit eines praktischen Edge-Learning-Szenarios, in dem private Datensätze sowohl auf den Geräten als auch auf dem Edge-Server/der Basisstation verfügbar sind. Dieses Edge-Learning-Szenario wird mithilfe einer neuartigen Drei-Operator-Splitting-Methode modelliert, die von den privaten Datensätzen auf beiden Seiten profitiert.
Es wird der FedTOP-ADMM-Algorithmus vorgestellt, der die kürzlich vorgeschlagene TOP-ADMM-Methode auf föderiertes Lernen anwendet und erweitert. Es werden zwei Varianten von FedTOP-ADMM präsentiert, FedTOP-ADMM I und FedTOP-ADMM II, wobei FedTOP-ADMM I ein Modell auf der Serverseite lernt, bevor es die Parameter von den Benutzern und dem Server selbst aggregiert, um einen gemeinsamen Modellparameter zu erzeugen.
Es wird ein neuer theoretischer Konvergenzbeweis für TOP-ADMM unter allgemeinen konvexen Bedingungen präsentiert. Darüber hinaus werden die Optimalitätsbedingungen von FedTOP-ADMM bewiesen.
Numerische Experimente zeigen, dass FedTOP-ADMM eine deutliche Verbesserung der Kommunikationseffizienz gegenüber bestehenden Methoden wie FedADMM aufweist.
Stats
Die Autoren verwenden reale Datensätze wie MNIST, CIFAR-10 und CIFAR-100 für ihre numerischen Experimente.
Quotes
Keine relevanten Zitate identifiziert.