Dieser Artikel gibt einen Überblick über die Architektur des verteilten Trainings von Deep-Learning-Modellen und analysiert die Beziehungen zwischen Parallelisierungsstrategie, kollektiver Kommunikationsbibliothek und Netzwerk aus der Perspektive der Kommunikationsoptimierung.
Es werden aktuelle Forschungsfortschritte in diesen drei Bereichen vorgestellt. Dabei zeigt sich, dass die einzelnen Schichten der derzeitigen Architektur relativ unabhängig voneinander sind, was die Zusammenarbeit zur Kommunikationsoptimierung erschwert.
Daher wird ein kommunikationseffizientes Fünf-Schichten-Paradigma vorgeschlagen, das Möglichkeiten für eine Querschnittsoptimierung bietet. Vier vielversprechende Forschungsrichtungen werden diskutiert: "Vertikal", "Horizontal", "Intra-Inter" und "Host-Net" Co-Design.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yunze Wei,Ti... at arxiv.org 03-13-2024
https://arxiv.org/pdf/2403.07585.pdfDeeper Inquiries