Core Concepts
Effiziente Nutzung von Hardware-Ressourcen für GNN-Training auf großen Graphen durch den GIDS-Dataloader.
Abstract
Der Artikel diskutiert die Herausforderungen beim Training von Graph Neural Networks (GNNs) auf großen Graphen und stellt den GPU Initiated Direct Storage Access (GIDS) Dataloader vor. Dieser ermöglicht effizientes Training von GNNs auf großen Graphen, indem er GPU-orientierte Ansätze nutzt und die Speicherressourcen effektiv verwaltet. Der GIDS-Dataloader verbessert die Leistung und Skalierbarkeit von GNNs, indem er die Graphstrukturdaten im CPU-Speicher und die Merkmalsdaten im Speicher speichert, die dynamische Speicherzugriffsakkumulator-Technik verwendet, einen konstanten CPU-Puffer einsetzt und das Window-Buffering zur Optimierung der GPU-Cache-Nutzung nutzt.
Struktur:
Einleitung: Bedeutung von GNNs und Herausforderungen beim Training auf großen Graphen.
Vorstellung des GIDS-Dataloaders: Funktionsweise und Vorteile.
Dynamischer Speicherzugriffsakkumulator: Optimierung der Speicherzugriffe für maximale Bandbreitennutzung.
Konstanter CPU-Puffer: Verbesserung der Effizienz der Merkmalsaggregation.
Window-Buffering: Optimierung der GPU-Cache-Nutzung.
Experimente und Ergebnisse: Auswirkungen der verschiedenen Techniken auf die Leistung.
Stats
CPUs können nicht mit der Durchsatzrate für Graph-Sampling und Merkmalsaggregation mithalten.
Der GIDS-Dataloader beschleunigt das Training von GNNs um bis zu 582× im Vergleich zum aktuellen DGL-Dataloader.
Quotes
"Der GIDS-Dataloader ermöglicht GPU-orientiertes GNN-Training für große Graphen und nutzt effizient alle Hardware-Ressourcen."