Ein 4D-Hybrid-Algorithmus zur Skalierung des parallelen Trainings auf Tausende von GPUs

AxoNN, ein neuartiger vierdimensionaler (4D) Parallelisierungsansatz, minimiert den Kommunikationsaufwand beim Training von Neuronalen Netzen auf verteilten Systemen, indem er Kommunikation und Berechnung überlappend ausführt und ein analytisches Modell zur Identifizierung kommunikationsoptimaler Konfigurationen verwendet.