기상 및 기후 모델 LFRic의 다양한 HPE Cray EX 슈퍼컴퓨터에서의 성능 및 확장성 분석

Concepts de base

LFRic 기상 및 기후 모델의 동적 코어 GungHo가 다양한 슈퍼컴퓨터 시스템에서 우수한 확장성을 보이며, I/O 성능 또한 구성 변경을 통해 크게 향상될 수 있음을 보여줌.

Résumé

이 연구는 기상 및 기후 모델 LFRic의 동적 코어 GungHo의 성능과 확장성을 다양한 HPE Cray EX 슈퍼컴퓨터 시스템에서 분석한 결과를 보여줍니다.
GungHo는 최대 10km 전지구 해상도에서 수백 노드까지 우수한 강한 확장성과 약한 확장성을 보였습니다. 특히 AMD EPYC "Milan" 프로세서가 탑재된 Setonix 시스템에서 가장 좋은 성능을 보였습니다.
GungHo의 성능 분석 결과, 반복적 계산 사용과 OpenMP 스레드 수에 따른 확장성 변화를 확인할 수 있었습니다. 이를 통해 코드의 다른 부분에서 OpenMP 성능을 개선할 수 있는 방향을 제시합니다.
또한 I/O 서버 XIOS의 성능 튜닝 분석 결과, 구성 변경을 통해 C896 해상도 실험에서 25%의 실행 시간 단축, 253%의 서버 쓰기 속도 향상, 5배의 클라이언트 대기 시간 감소를 달성할 수 있었습니다.

Stats

GungHo 모델의 C512 메시에 대한 ARCHER2 시스템의 스레드 수에 따른 실행 시간 분석 결과:

1 스레드: 5.6초
2 스레드: 5.3초
4 스레드: 5.3초
8 스레드: 6.0초
16 스레드: 6.7초

Citations

"GungHo, the dynamical core of LFRic, shows good scalability up to, and beyond the mesh size and node counts that will form the initial operational forecasting configuration."
"Significant performance improvements can be achieved through minor configuration changes to model interactions with storage systems."

Idées clés tirées de

Performance and scaling of the LFRic weather and climate model on different generations of HPE Cray EX supercomputers

by J. M... à arxiv.org 09-25-2024

https://arxiv.org/pdf/2409.15859.pdf

Questions plus approfondies

기상 및 기후 모델의 성능과 확장성을 향상시키기 위해 어떤 새로운 하드웨어 기술이나 소프트웨어 기술이 필요할까요?

기상 및 기후 모델의 성능과 확장성을 향상시키기 위해서는 여러 가지 새로운 하드웨어 및 소프트웨어 기술이 필요합니다. 첫째, 고성능 컴퓨팅(HPC) 아키텍처의 발전이 중요합니다. 예를 들어, Exascale 시스템은 더 많은 코어와 메모리 대역폭을 제공하여 대규모 병렬 처리를 가능하게 합니다. 이러한 시스템은 AMD EPYC 또는 Intel Xeon과 같은 최신 프로세서를 활용하여 성능을 극대화할 수 있습니다.
둘째, 메모리 기술의 발전도 필수적입니다. 고속 메모리(예: HBM, DDR5)는 데이터 전송 속도를 높여 모델의 I/O 성능을 개선할 수 있습니다. 또한, 비휘발성 메모리(NVM) 기술을 통해 데이터 저장 및 접근 속도를 향상시킬 수 있습니다.
셋째, 소프트웨어 최적화가 필요합니다. **도메인 특화 언어(DSL)**와 같은 기술을 통해 모델의 코드 구조를 개선하고, 병렬 처리를 최적화하여 성능을 높일 수 있습니다. 예를 들어, PSyclone과 같은 도구를 사용하여 코드의 병렬성을 자동으로 생성하고 최적화할 수 있습니다.
마지막으로, AI 및 머신러닝 기술을 활용하여 기상 예측의 정확성을 높이고, 모델의 계산 효율성을 개선할 수 있습니다. 이러한 기술들은 데이터 분석 및 패턴 인식을 통해 예측 모델을 보완할 수 있습니다.

GungHo 모델의 OpenMP 성능 저하 원인을 자세히 분석하고 개선하는 것 외에 다른 방법은 없을까요?

GungHo 모델의 OpenMP 성능 저하 원인을 분석하고 개선하는 것 외에도 여러 가지 접근 방법이 있습니다. 첫째, 하드웨어 최적화를 고려할 수 있습니다. 예를 들어, NUMA(비균일 메모리 접근) 아키텍처를 이해하고 최적화하여 메모리 접근 시간을 줄일 수 있습니다. 각 프로세서의 메모리 접근 패턴을 분석하고, 데이터 로컬리티를 개선하여 성능을 향상시킬 수 있습니다.
둘째, 알고리즘 개선이 필요합니다. OpenMP의 성능 저하가 특정 알고리즘의 비효율성에서 비롯된 경우, 알고리즘을 재설계하거나 더 효율적인 데이터 구조를 사용하는 것이 도움이 될 수 있습니다. 예를 들어, 레드런던트 계산을 줄이고, 데이터 병렬성을 극대화하는 방향으로 알고리즘을 수정할 수 있습니다.
셋째, 하드웨어 가속기를 활용하는 방법도 있습니다. GPU나 FPGA와 같은 가속기를 사용하여 특정 계산을 병렬로 처리함으로써 OpenMP의 성능 저하를 보완할 수 있습니다. 이러한 가속기는 대량의 데이터 처리를 빠르게 수행할 수 있는 장점이 있습니다.
마지막으로, 소프트웨어 도구를 활용하여 성능 분석을 수행하고, 병목 현상을 식별하여 최적화할 수 있습니다. CrayPAT와 같은 프로파일링 도구를 사용하여 성능 저하의 원인을 파악하고, 이를 기반으로 최적화 전략을 수립할 수 있습니다.

LFRic 모델의 I/O 성능 향상을 위해 XIOS 외에 고려할 수 있는 다른 I/O 기술이나 접근법은 무엇이 있을까요?

LFRic 모델의 I/O 성능 향상을 위해 XIOS 외에도 여러 가지 I/O 기술과 접근법을 고려할 수 있습니다. 첫째, 병렬 파일 시스템을 활용하는 것입니다. Lustre와 같은 병렬 파일 시스템은 대량의 데이터를 효율적으로 저장하고 읽을 수 있는 기능을 제공합니다. 이를 통해 I/O 병목 현상을 줄이고, 데이터 전송 속도를 높일 수 있습니다.
둘째, 데이터 압축 기술을 적용하여 저장 공간을 절약하고 I/O 성능을 개선할 수 있습니다. Zlib와 같은 압축 라이브러리를 사용하여 데이터를 압축하고, I/O 작업 시 전송되는 데이터의 양을 줄일 수 있습니다. 이는 특히 대량의 데이터를 처리할 때 유용합니다.
셋째, 비동기 I/O를 활용하는 방법도 있습니다. 비동기 I/O를 통해 모델의 계산과 I/O 작업을 동시에 수행할 수 있어, I/O로 인한 지연을 최소화할 수 있습니다. 이를 통해 모델의 전체 성능을 향상시킬 수 있습니다.
넷째, 데이터 스트리밍 기술을 고려할 수 있습니다. 실시간 데이터 스트리밍을 통해 필요한 데이터만을 선택적으로 전송하고 처리함으로써 I/O 성능을 최적화할 수 있습니다. 이는 특히 대규모 시뮬레이션에서 유용합니다.
마지막으로, 클라우드 기반 스토리지를 활용하여 데이터 저장 및 처리의 유연성을 높일 수 있습니다. 클라우드 스토리지를 통해 대량의 데이터를 효율적으로 관리하고, 필요에 따라 리소스를 확장할 수 있는 장점이 있습니다.