Kernekoncepter
이기종 엣지 디바이스의 계산 능력과 네트워크 대역폭을 고려하여 딥러닝 모델을 효율적으로 분할하고 병렬 학습을 수행함으로써 학습 시간을 단축하는 기술
Resumé
본 논문은 이기종 엣지 컴퓨팅 환경에서 병렬 분할 학습 기술인 EdgeSplit을 제안한다. EdgeSplit은 엣지 디바이스의 계산 능력과 네트워크 대역폭을 고려하여 딥러닝 모델을 효율적으로 분할하고 병렬 학습을 수행한다.
구체적으로 다음과 같은 과정으로 진행된다:
- 각 엣지 디바이스의 계산 능력과 네트워크 대역폭, 그리고 딥러닝 모델의 특성을 고려하여 최적의 모델 분할 지점과 대역폭 할당을 결정한다.
- 각 엣지 디바이스는 자신에게 할당된 모델 일부를 학습하고, 나머지 부분은 서버에 오프로드한다.
- 서버는 오프로드된 부분을 학습하고 모델 파라미터를 통합한다.
- 이 과정을 반복하여 전체 모델을 학습한다.
이를 통해 자원 제한적인 엣지 디바이스에서도 대규모 딥러닝 모델을 학습할 수 있으며, 기존 기법 대비 최대 5.5배 빠른 학습 속도를 달성할 수 있다.
Statistik
엣지 디바이스 i의 배치 단위 순전파 시간: T f
batch = Σ(T f
i,j * Xi,j) + Σ(Sf
i,j * Xi,j)
엣지 디바이스 i의 배치 단위 역전파 시간: T b
batch = Σ(Sb
i,j + T b
i,j) * Xi,j
엣지 디바이스 i의 배치 단위 통신 시간: T g
batch = Σ(Oj * Xi,j) / Bi * 2
엣지 디바이스 i의 라운드 단위 학습 시간: T r
i = b * (T f
batch + T b
batch + T g
batch) + T w
batch
Citater
"EdgeSplit은 이기종 엣지 디바이스의 계산 능력과 네트워크 대역폭을 고려하여 딥러닝 모델을 효율적으로 분할하고 병렬 학습을 수행함으로써 학습 시간을 단축한다."
"EdgeSplit은 자원 제한적인 엣지 디바이스에서도 대규모 딥러닝 모델을 학습할 수 있으며, 기존 기법 대비 최대 5.5배 빠른 학습 속도를 달성할 수 있다."