Der Artikel stellt einen Streaming-Workflow vor, der das direkte Übertragen von Detektordaten eines hochauflösenden Elektronenmikroskops (4D-STEM) von den Empfangsservern am Mikroskop zu Rechenknoten am NERSC-Hochleistungsrechenzentrum ermöglicht.
Der herkömmliche dateibasierte Workflow leidet unter einem großen E/A-Flaschenhals, da die Daten mehrmals zwischen Festplatte, Netzwerk und Rechenknoten kopiert werden müssen. Der neue Streaming-Workflow umgeht diese Engpässe, indem er die Daten direkt vom Arbeitsspeicher der Empfangsserver in den Arbeitsspeicher der NERSC-Rechenknoten überträgt.
Dafür werden mehrere ZeroMQ-basierte Dienste eingesetzt: Auf den Empfangsservern am Mikroskop werden die Daten produziert und an einen zentralen Aggregator-Dienst in NCEM gesendet. Dieser verteilt die Daten fair an die NERSC-Rechenknoten, wo sie von Konsumenten-Diensten empfangen und direkt an die Datenverarbeitungssoftware weitergeleitet werden.
Zusätzlich wurde ein verteilter Schlüssel-Wert-Speicher entwickelt, um den Zustand des Netzwerks zu synchronisieren und die dynamische Skalierung der Streaming-Jobs zu ermöglichen.
Der Vergleich mit dem herkömmlichen dateibasierten Workflow zeigt, dass der Streaming-Ansatz eine bis zu 14-fache Steigerung der Datendurchsatzrate erreicht und gleichzeitig die Zuverlässigkeit und Vorhersagbarkeit des Systems deutlich erhöht. Dies ist insbesondere für zeitkritische Experimente von großer Bedeutung.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Samuel S. We... pada arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14352.pdfPertanyaan yang Lebih Dalam