Core Concepts
분산 메모리 컴퓨팅에서의 작업 부하 균형을 위해 계산, 통신, 메모리 요소를 통합한 모델을 제안하고, 이를 활용한 분산 휴리스틱 기반 부하 균형 최적화 알고리즘을 소개한다.
Abstract
이 논문은 분산 메모리 컴퓨팅에서의 작업 부하 균형 문제를 다룬다. 기존의 연구들은 계산, 통신, 메모리 요소를 개별적으로 다루었지만, 이 논문에서는 이 세 가지 요소를 통합한 통일된 모델인 CCM(Computation Communication Memory) 모델을 제안한다. CCM 모델을 통해 작업 배치에 대한 복잡한 트레이드오프, 예를 들어 병렬성 증가에 따른 데이터 복제 증가와 메모리 사용량 증가 등을 탐색할 수 있다.
논문에서는 CCM 모델을 활용한 분산 휴리스틱 기반 부하 균형 최적화 알고리즘인 CCM-LB를 제안한다. CCM-LB는 작업 배치를 점진적으로 최적화하여 전체 작업량을 최소화한다. 또한 혼합 정수 선형 프로그래밍(MILP) 문제로 재구성하여 CCM-LB의 솔루션이 최적에 근접함을 보인다.
마지막으로 전자기학 코드에 CCM-LB를 적용하여 불균형 실행 시 최대 2.3배의 성능 향상을 달성했음을 보여준다.
Stats
제안된 CCM-LB 알고리즘은 불균형 실행 시 최대 2.3배의 성능 향상을 달성했다.
Quotes
"분산 메모리 아키텍처가 더욱 어려워짐에 따라, 최적의 성능을 얻기 위해서는 데이터와 계산 작업을 사용 가능한 하드웨어 자원에 신중하게 조정하고 매핑해야 한다."
"작업 기반 프로그래밍 모델은 불규칙한 계산 구조에서 수동 작업 분할이 특히 어려운 경우에 가능한 솔루션으로 부상했다."