Grunnleggende konsepter
Eine neuartige Tensor-zentrische Bibliothek, GeoT, die durch effiziente Segment-Reduktion auf der GPU die Leistung von Graph-Neuronalen-Netzwerken deutlich verbessert.
Sammendrag
Die Kernaussage des Artikels ist die Einführung von GeoT, einer innovativen Tensor-zentrierten Bibliothek, die speziell für Graph-Neuronale-Netzwerke (GNNs) entwickelt wurde. GeoT adressiert die Herausforderungen bei der Implementierung der Segment-Reduktion, die ein zentraler Bestandteil von GNNs ist.
Die Autoren identifizieren drei Hauptprobleme bei der Optimierung der Segment-Reduktion für GNNs:
- Unterstützung eines gut ausgeschöpften Lösungsraums: Die Notwendigkeit, variable Einbettungslängen zu unterstützen, erfordert den Einsatz innovativer paralleler Algorithmen, was zu einem Mangel an optimierten Ansätzen führt.
- Heuristische Anpassungsfähigkeit an Eingabedynamiken: Das Fehlen eines effektiven Algorithmus für die Parameterauswahl führt häufig zu suboptimalen Kernel-Konfigurationen.
- Format-unabhängige und Fusions-Potenzial: Eine nahtlose Integration in bestehende Frameworks ist eine wesentliche, aber schwierige Anforderung.
Um diese Herausforderungen zu bewältigen, präsentieren die Autoren GeoT, das folgende Lösungen bietet:
- Einen angepassten Tiling-Algorithmus für die Segment-Reduktion, gekoppelt mit fortgeschrittener Thread-Workload-Zuordnung und GPU-spezifischen Optimierungen.
- Den Einsatz eines datengesteuerten, ultra-leichtgewichtigen Entscheidungsbaums für die Konfigurationsregelauswahl, der eine heuristische Anpassungsfähigkeit an dynamische Eingabeszenarien bietet.
- Eine Format-unabhängige Fusions-Unterstützung, die eine nahtlose Integration mit bestehenden Berechnungsgraph-Optimierungen gewährleistet.
GeoT erzielt im Vergleich zum Stand der Technik eine durchschnittliche Beschleunigung von 1,28x für die Segment-Reduktion, 1,80x für Sparse Matrix-Matrix-Multiplikation (SpMM) und 1,68x für End-to-End-Inferenzaufgaben.
Statistikk
Die Größe des Idx-Tensors (Idx_size) beträgt bis zu 23.213.838 für den Reddit2-Datensatz.
Der maximale Wert in Idx (Idx_max) kann bis zu 99,65 für den Reddit2-Datensatz reichen.
Der durchschnittliche Wert in Idx (avg = Idx_size/Idx_max) kann bis zu 6,89 für den Ogbn-Arxiv-Datensatz betragen.
Sitater
"GeoT debütiert innovative parallele Algorithmen, die nicht nur neue Gestaltungsprinzipien einführen, sondern auch den verfügbaren Gestaltungsraum erweitern."
"GeoT ist für eine nahtlose Fusion innerhalb eines Berechnungsgraphen entwickelt, um die Kompatibilität mit modernen Tensor-zentrierten Machine-Learning-Frameworks und Compilern sicherzustellen."