Dieser Artikel bietet eine umfassende Übersicht über Algorithmen, Strategien und Infrastrukturen, die darauf abzielen, die Kommunikationseffizienz in großangelegten verteilten Deep-Learning-Systemen zu verbessern, um eine hohe Leistung zu erreichen.
COMET ist eine ganzheitliche Methodik zur gemeinsamen Untersuchung der Auswirkungen von Parallelisierungsstrategien und Clusterressourcen auf die Leistung des verteilten Deep Learning-Trainings.