In dieser Arbeit wird eine neue Newton-Optimierungs-basierte Methode für föderiertes Lernen, namens FAGH, vorgestellt. FAGH nutzt die approximierte globale Hessische Matrix, um die Konvergenz des globalen Modelltrainings im föderiertem Lernen zu beschleunigen und so die hohe Kommunikationsbelastung aufgrund der vielen Kommunikationsrunden, die zum Erreichen der Konvergenz des globalen Modells erforderlich sind, zu lösen.
FAGH hat im Vergleich zu bestehenden Newton-basierten Algorithmen für föderiertes Lernen einen geringeren lokalen Zeit- und Platzbedarf. In jedem Kommunikationsschritt senden die Clients den Gradienten und die erste Reihe der wahren lokalen Hessischen Matrix an den Server. Der Server aggregiert diese Informationen, um die ersten Momente des globalen Gradienten und der ersten Reihe der globalen Hessischen Matrix zu berechnen. Mithilfe dieser Informationen kann der Server dann die globale Newton-Richtung direkt berechnen, ohne die vollständige globale Hessische Matrix speichern oder berechnen zu müssen.
Die experimentellen Ergebnisse zeigen, dass FAGH im Vergleich zu mehreren state-of-the-art-Methoden für föderiertes Lernen wie SCAFFOLD, FedGA, FedExP, GIANT und DONE die Anzahl der Kommunikationsrunden und die Trainingszeit zum Erreichen bestimmter Leistungsziele des globalen Modells reduzieren kann.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Mrinmay Sen,... : arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11041.pdfDaha Derin Sorular