Optimierung der OpenACC-Leistung der Navier-Stokes-Finite-Elemente-Assemblierung auf GPUs für den Weg zur Exascale-Leistung

Core Concepts

Die Kombination von Umstrukturierung, Spezialisierung und Privatisierung der Zwischenwerte enthüllt das volle Leistungspotenzial auf GPU und CPU, was zu einer Leistungssteigerung von mehr als 50x auf einer NVIDIA A100 GPU und einem weiteren Faktor von 5x für einen Intel Icelake-basierten CPU-Knoten führt.

Abstract

Der Artikel beschreibt die Optimierung der Assemblierung des rechten Seitenteils (RHS) im inkompressiblen Strömungsmodul des Hochleistungsrechenmechanik-Codes Alya, einem der beiden CFD-Codes im Unified European Benchmark Suite.
Ausgehend von einer effizienten CPU-Version und einer zugehörigen OpenACC-Portierung für GPUs werden sukzessive Leistungspotenziale durch Codepezialisierung, algorithmische Umstrukturierung und Low-Level-Optimierungen untersucht.
Es wird gezeigt, dass nur die Kombination dieser verschiedenen Dimensionen der Laufzeitoptimierung das volle Leistungspotenzial auf der GPU und CPU enthüllt. Dabei wird die Roofline-basierte Leistungsmodellierung angewendet und es wird demonstriert, dass neue Optimierungsstrategien untersucht werden müssen, wenn eine klassische Roofline-Grenze wie die Ausnutzung der Speicherbandbreite erreicht ist, anstatt den Prozess zu beenden.
Die endgültige, vereinheitlichte OpenACC-basierte Implementierung steigert die Leistung um mehr als 50x auf einer NVIDIA A100 GPU (mit etwa 2,5 TF/s FP64) und einen weiteren Faktor von 5x für einen Intel Icelake-basierten CPU-Knoten (mit etwa 1,0 TF/s FP64).
Die gewonnenen Erkenntnisse legen den Grundstein für die Implementierung vereinheitlichter, aber immer noch hocheffizienter Codestrukturen für verwandte Kernel in Alya und anderen Anwendungen, die manuell oder durch automatische Codegenerierungsframeworks realisiert werden können.

Stats

Die Anzahl der Gleitkommaoperationen pro Element verringert sich von 6316 auf 1249 für die CPU-Version und von 6293 auf 1333 für die GPU-Version.
Die Datenmenge, die von der DRAM-Ebene gelesen und geschrieben werden muss, verringert sich von 261 B auf 241 B pro Element für die CPU-Version und von 23.331 B auf 150 B pro Element für die GPU-Version.

Quotes

"Die Kombination von Umstrukturierung, Spezialisierung und Privatisierung der Zwischenwerte enthüllt das volle Leistungspotenzial auf GPU und CPU."
"Roofline-basierte Leistungsmodellierung ist angewendet und es wird demonstriert, dass neue Optimierungsstrategien untersucht werden müssen, wenn eine klassische Roofline-Grenze wie die Ausnutzung der Speicherbandbreite erreicht ist, anstatt den Prozess zu beenden."

Key Insights Distilled From

Alya towards Exascale

by Herbert Owen... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.08777.pdf

Deeper Inquiries

Wie lassen sich die gewonnenen Erkenntnisse auf andere Finite-Elemente-Codes übertragen, die nicht auf Navier-Stokes-Gleichungen beschränkt sind?

Die gewonnenen Erkenntnisse aus dieser Arbeit können auf andere Finite-Elemente-Codes übertragen werden, die nicht ausschließlich auf Navier-Stokes-Gleichungen basieren, indem ähnliche Optimierungsstrategien angewendet werden. Zunächst ist es wichtig, die Code-Struktur zu analysieren und zu verstehen, um Engpässe und ineffiziente Bereiche zu identifizieren. Durch die Anwendung von Spezialisierungstechniken, wie der Reduzierung von generellen Implementierungen auf spezifische Anwendungsfälle, können die Code-Performance und Effizienz verbessert werden. Darüber hinaus können Maßnahmen zur Privatisierung von Zwischenwerten und zur Optimierung des Algorithmuslebenszyklus dazu beitragen, die Anzahl der benötigten Ressourcen zu reduzieren und die Ausführungseffizienz zu steigern. Diese Optimierungsansätze sind nicht spezifisch für Navier-Stokes-Gleichungen und können daher auf andere Finite-Elemente-Codes angewendet werden, um deren Leistung auf CPU- und GPU-Architekturen zu verbessern.

Welche Herausforderungen ergeben sich bei der Erstellung einer vollständig automatisierten Codegenerierung, die sowohl CPU- als auch GPU-Optimierungen berücksichtigt?

Die Erstellung einer vollständig automatisierten Codegenerierung, die sowohl CPU- als auch GPU-Optimierungen berücksichtigt, birgt mehrere Herausforderungen. Zunächst müssen die Unterschiede in der Architektur und im Verhalten von CPUs und GPUs berücksichtigt werden, um optimale Leistung auf beiden Plattformen zu erzielen. Die Codegenerierung muss flexibel genug sein, um spezifische Optimierungen für jede Architektur durchzuführen, ohne die Portabilität zu beeinträchtigen. Darüber hinaus erfordert die Automatisierung eine gründliche Analyse der Code-Struktur, um geeignete Optimierungsstrategien zu identifizieren und anzuwenden. Die Integration von Compiler-Optimierungen, Spezialisierungstechniken und Privatisierung von Zwischenwerten in den automatisierten Generierungsprozess kann komplex sein und erfordert ein tiefes Verständnis der zugrunde liegenden Algorithmen und Hardwarearchitekturen. Die Validierung und das Testing des generierten Codes auf verschiedenen Plattformen sind ebenfalls entscheidend, um sicherzustellen, dass die Optimierungen effektiv sind und die erwartete Leistung liefern.

Wie können die Erkenntnisse aus dieser Arbeit dazu beitragen, die Energieeffizienz von Hochleistungsrechnern weiter zu verbessern?

Die Erkenntnisse aus dieser Arbeit können dazu beitragen, die Energieeffizienz von Hochleistungsrechnern weiter zu verbessern, indem sie aufzeigen, wie durch gezielte Optimierungen die Leistung pro Energieeinheit gesteigert werden kann. Indem ineffiziente Code-Strukturen identifiziert und optimiert werden, können Rechenoperationen effizienter durchgeführt werden, was zu einer Reduzierung des Energieverbrauchs führt. Die Anwendung von Spezialisierungstechniken und Privatisierung von Zwischenwerten kann dazu beitragen, den Ressourcenverbrauch zu minimieren und die Ausführungseffizienz zu maximieren. Darüber hinaus können die Erkenntnisse über die Unterschiede in der Ausführung auf CPUs und GPUs genutzt werden, um maßgeschneiderte Optimierungen für jede Architektur vorzunehmen und die Energieeffizienz zu maximieren. Durch die Implementierung dieser Optimierungen können Hochleistungsrechner effizienter betrieben werden, was zu einer Reduzierung des Energieverbrauchs und einer verbesserten Leistungsfähigkeit führt.