Der Artikel stellt einen Streaming-Workflow vor, der das direkte Übertragen von Detektordaten eines hochauflösenden Elektronenmikroskops (4D-STEM) von den Empfangsservern am Mikroskop zu Rechenknoten am NERSC-Hochleistungsrechenzentrum ermöglicht.
Der herkömmliche dateibasierte Workflow leidet unter einem großen E/A-Flaschenhals, da die Daten mehrmals zwischen Festplatte, Netzwerk und Rechenknoten kopiert werden müssen. Der neue Streaming-Workflow umgeht diese Engpässe, indem er die Daten direkt vom Arbeitsspeicher der Empfangsserver in den Arbeitsspeicher der NERSC-Rechenknoten überträgt.
Dafür werden mehrere ZeroMQ-basierte Dienste eingesetzt: Auf den Empfangsservern am Mikroskop werden die Daten produziert und an einen zentralen Aggregator-Dienst in NCEM gesendet. Dieser verteilt die Daten fair an die NERSC-Rechenknoten, wo sie von Konsumenten-Diensten empfangen und direkt an die Datenverarbeitungssoftware weitergeleitet werden.
Zusätzlich wurde ein verteilter Schlüssel-Wert-Speicher entwickelt, um den Zustand des Netzwerks zu synchronisieren und die dynamische Skalierung der Streaming-Jobs zu ermöglichen.
Der Vergleich mit dem herkömmlichen dateibasierten Workflow zeigt, dass der Streaming-Ansatz eine bis zu 14-fache Steigerung der Datendurchsatzrate erreicht und gleichzeitig die Zuverlässigkeit und Vorhersagbarkeit des Systems deutlich erhöht. Dies ist insbesondere für zeitkritische Experimente von großer Bedeutung.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문