기상 예보 워크플로우의 I/O 경합 영향 감소를 위한 DAOS 활용

Concetti Chiave

기상 예보 워크플로우의 I/O 경합 문제를 DAOS 객체 저장소를 활용하여 해결하고, 이를 통해 기상 예보 시스템의 확장성을 높일 수 있다.

Sintesi

이 논문은 기상 예보 시스템의 I/O 경합 문제를 해결하기 위해 DAOS 객체 저장소를 활용하는 방법을 제안한다.
기상 예보 시스템은 방대한 양의 데이터를 처리하는 데이터 집약적인 애플리케이션이다. 기존의 POSIX 호환 분산 파일 시스템은 이러한 고부하 병렬 워크플로우에 한계가 있다. POSIX 파일 시스템 API는 개발자에게 복잡한 문제를 야기하며, 메타데이터 관리와 일관성 보장 등의 측면에서도 성능 저하를 초래한다.
이에 ECMWF는 DAOS라는 고성능 객체 저장소를 FDB(기상 데이터 저장소) 백엔드로 도입했다. DAOS는 분산 비휘발성 메모리 환경에 최적화된 설계로, 서버 측 경합 해결, 메타데이터 요구 감소, 바이트 단위 I/O 등의 장점을 제공한다.
논문에서는 DAOS Catalogue와 Store 백엔드를 구현하고, 이를 Lustre 기반 POSIX 백엔드와 성능을 비교했다. 실험 결과, DAOS 백엔드가 높은 부하와 경합 상황에서 Lustre 백엔드를 능가하는 성능을 보였다. 이는 POSIX 의미론의 성능 제약을 극복한 것으로 평가된다.

Statistiche

기상 예보 시스템에서 한 번의 운영 실행 동안 약 70 TiB의 데이터가 생성되며, 약 25백만 개의 기상 필드가 저장된다.

Citazioni

없음

Approfondimenti chiave tratti da

Reducing the Impact of I/O Contention in Numerical Weather Prediction Workflows at Scale Using DAOS

by Nicolau Manu... alle arxiv.org 04-05-2024

https://arxiv.org/pdf/2404.03107.pdf

Domande più approfondite

기상 예보 시스템 외 다른 데이터 집약적 애플리케이션에서도 DAOS 활용이 가능할까?

기상 예보 시스템에서 DAOS가 성공적으로 활용되었다는 사례를 통해 보면, DAOS는 다른 데이터 집약적인 애플리케이션에서도 유용하게 활용될 수 있을 것으로 예상됩니다. DAOS는 높은 성능의 객체 저장소로서, 대규모 데이터를 효율적으로 처리하고 서버 측에서 경합을 해결하는 기능을 제공합니다. 따라서 데이터 양이 많고 입출력이 많은 다른 분야에서도 DAOS를 적용하여 성능을 향상시키고 데이터 관리를 효율화할 수 있을 것입니다.