Conceitos essenciais
실제 처리-메모리 시스템에서 그래프 신경망 실행을 효율적으로 가속화하는 기술을 제안한다.
Resumo
이 논문은 그래프 신경망(GNN) 실행을 효율적으로 가속화하기 위한 PyGim이라는 새로운 기계 학습 프레임워크를 소개한다. 주요 내용은 다음과 같다:
계산 집약적인 조합 단계는 프로세서 중심 시스템(CPU 또는 GPU)에서 실행하고, 메모리 집약적인 집계 단계는 메모리 중심 처리-메모리(PIM) 시스템에서 실행하는 가속기 조합(CoA) 기법을 제안한다.
PIM 시스템에서 GNN 집계 단계의 효율적인 병렬화를 위해 하이브리드 병렬화(HP) 기법을 제안한다. HP는 세 가지 수준의 병렬화를 지원하며, 각 수준에서 다른 병렬화 기법을 사용하여 계산 및 데이터 전송 비용 간의 균형을 맞춘다.
PIM 집계를 위한 Python API를 개발하여 프로그래머가 쉽게 사용할 수 있도록 한다. PyGim은 PyTorch와 통합되어 CPU-PIM 및 GPU-PIM 실행을 지원한다.
실제 UPMEM PIM 시스템에서 GNN 추론을 광범위하게 평가하여, PyGim이 최신 CPU 대비 평균 3.04배 더 빠른 성능을 달성하고 CPU 및 GPU 시스템보다 높은 리소스 활용도를 제공함을 보여준다. 또한 PIM 하드웨어 및 소프트웨어 개선을 위한 권장 사항을 제시한다.
Estatísticas
그래프 데이터셋의 정점 수는 132,534개에서 403,598개 사이이며, 간선 수는 79,122,504개에서 156,149,176개 사이이다.
그래프 데이터셋의 정점당 평균 간선 수는 386.89개에서 597.00개 사이이며, 표준편차는 621.48개에서 1,140.91개 사이이다.
Citações
"PyGim은 실제 PIM 시스템에서 GNN을 효율적으로 실행하기 위한 새로운 기계 학습 프레임워크이다."
"PyGim은 계산 집약적인 조합 단계를 프로세서 중심 시스템에서, 메모리 집약적인 집계 단계를 메모리 중심 PIM 시스템에서 실행하는 가속기 조합(CoA) 기법을 제안한다."
"PyGim은 PIM 시스템에서 GNN 집계 단계의 효율적인 병렬화를 위해 하이브리드 병렬화(HP) 기법을 제안한다."