Effizientes verteiltes Training mit Distributed Lion: Reduzierung des Kommunikationsaufwands

Distributed Lion ist ein innovativer Ansatz, um den Lion-Optimierer für verteiltes Training zu nutzen. Durch die Verwendung des Vorzeichen-Operators in Lion können Distributed Lion-Arbeiter nur binäre oder niedrigpräzise Vektoren zwischen Arbeitern und dem Zentralserver übertragen, was die Kommunikationskosten erheblich reduziert.