Der Artikel stellt einen neuen Ansatz für föderatives Lernen namens FedAgg vor, der zwei Hauptinnovationen beinhaltet:
Adaptive Lernrate: FedAgg führt eine adaptive Lernrate für jeden Teilnehmer ein, die auf den aggregierten Gradienten aller Teilnehmer und der Abweichung zwischen lokalen und durchschnittlichen Parametern basiert. Dies hilft, den negativen Einfluss heterogener Daten zu mindern und die Konvergenzrate des globalen Modells zu beschleunigen.
Mittelfeldschätzung: Da die Teilnehmer während des lokalen Trainings keine Informationen über andere Teilnehmer austauschen können, führt FedAgg zwei Mittelfeldschätzer ein, um den Durchschnitt der lokalen Parameter und Gradienten über die Zeit zu schätzen. Basierend darauf kann jeder Teilnehmer seine eigene optimale adaptive Lernrate berechnen, ohne auf Informationen anderer Teilnehmer angewiesen zu sein.
Durch eine gründliche theoretische Analyse wird gezeigt, dass FedAgg eine robuste Konvergenzgarantie bietet und in verschiedenen Szenarien mit IID- und Nicht-IID-Daten überlegen ist. Die experimentellen Ergebnisse belegen, dass FedAgg die Modellleistung verbessert und die Konvergenzrate beschleunigt.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Wenhao Yuan,... at arxiv.org 04-15-2024
https://arxiv.org/pdf/2303.15799.pdfDeeper Inquiries