핵심 개념
파일 인기도가 서로 다른 이기종 분산 컴퓨팅 환경에서, 효율적인 데이터 셔플링을 위해 새로운 파일 배치 및 중첩 코딩 셔플링 전략을 제안하고, 이를 최적화하여 시스템 성능을 향상시키는 방법을 제시한다.
Deng, Y., & Dong, M. (2024, October 19). Design and Optimization of Heterogeneous Coded Distributed Computing with Nonuniform File Popularity. arXiv. https://arxiv.org/abs/2310.03142v2
본 연구는 MapReduce 기반 이기종 분산 컴퓨팅 시스템에서 작업 처리 속도를 저하시키는 주요 병목 현상인 셔플링 단계의 통신 부하를 줄이는 것을 목표로 한다. 특히, 기존 연구와 달리 파일 인기도가 서로 다른 환경을 고려하여 시스템 성능을 향상시키는 효율적인 코딩된 분산 컴퓨팅 (CDC) 기법을 설계하고 최적화하는 데 중점을 둔다.