Core Concepts
기상 예보 워크플로우의 I/O 경합 문제를 DAOS 객체 저장소를 활용하여 해결하고, 이를 통해 기상 예보 시스템의 확장성을 높일 수 있다.
Abstract
이 논문은 기상 예보 시스템의 I/O 경합 문제를 해결하기 위해 DAOS 객체 저장소를 활용하는 방법을 제안한다.
기상 예보 시스템은 방대한 양의 데이터를 처리하는 데이터 집약적인 애플리케이션이다. 기존의 POSIX 호환 분산 파일 시스템은 이러한 고부하 병렬 워크플로우에 한계가 있다. POSIX 파일 시스템 API는 개발자에게 복잡한 문제를 야기하며, 메타데이터 관리와 일관성 보장 등의 측면에서도 성능 저하를 초래한다.
이에 ECMWF는 DAOS라는 고성능 객체 저장소를 FDB(기상 데이터 저장소) 백엔드로 도입했다. DAOS는 분산 비휘발성 메모리 환경에 최적화된 설계로, 서버 측 경합 해결, 메타데이터 요구 감소, 바이트 단위 I/O 등의 장점을 제공한다.
논문에서는 DAOS Catalogue와 Store 백엔드를 구현하고, 이를 Lustre 기반 POSIX 백엔드와 성능을 비교했다. 실험 결과, DAOS 백엔드가 높은 부하와 경합 상황에서 Lustre 백엔드를 능가하는 성능을 보였다. 이는 POSIX 의미론의 성능 제약을 극복한 것으로 평가된다.
Stats
기상 예보 시스템에서 한 번의 운영 실행 동안 약 70 TiB의 데이터가 생성되며, 약 25백만 개의 기상 필드가 저장된다.