Globale Momentumkompression für spärliche Kommunikation im verteilten Lernen

Die Autoren stellen eine neuartige Methode namens globale Momentumkompression (GMC) vor, die globales Momentum für spärliche Kommunikation in verteiltem Lernen nutzt. GMC überwindet die Nachteile bestehender Methoden, die nur lokales Momentum verwenden. Die Autoren zeigen theoretisch und empirisch, dass GMC eine höhere Testgenauigkeit und schnellere Konvergenz, insbesondere unter nicht-IID-Datenverteilung, erreichen kann.