Konsep Inti
임베디드 장치에서 딥 신경망 추론을 분산하는 것은 자원 제한적 장치에서 기계 학습 모델을 효율적이고 확장 가능한 방식으로 배포하는 데 유망한 접근법이다.
Abstrak
이 논문은 지난 6년 동안 발표된 논문들을 체계적으로 검토하여 딥 신경망 추론을 분산하는 기술과 방법을 개괄한다. 다양한 관점에서 이 문제를 분석하고 현재 동향과 과제, 미래 연구 방향을 논의한다.
분산 추론의 장점으로는 자원 제한적 장치에서 메모리 및 계산 요구사항을 충족할 수 있고, 병렬 처리를 통해 처리량을 높일 수 있다는 점이 있다. 논문은 분산 추론 시스템의 런타임 유연성, 분할 세부 수준, 최적화 지표, 장치 모델링 등 다양한 측면을 분석한다.
대부분의 연구는 수평 분할 방식을 사용하여 에지 장치와 클라우드 간에 추론을 분산하는 데 초점을 맞추고 있다. 수직 분할 방식도 연구되고 있지만 아직 갈 길이 멀다. 또한 대부분의 연구가 지연 시간과 처리량 최적화에 집중되어 있으며, 에너지 효율성 최적화는 상대적으로 소홀히 다루어지고 있다. 분산 추론 시스템의 성능을 공정하게 비교할 수 있는 새로운 평가 지표 개발도 필요한 과제로 보인다.
Statistik
"분산 추론 시스템의 지연 시간은 단일 에지 장치 대비 최대 23.93배 단축될 수 있다."
"분산 추론 시스템의 처리량은 단일 에지 장치 대비 최대 35.5배 향상될 수 있다."
Kutipan
"분산 추론은 자원 제한적 장치에서 기계 학습 모델을 효율적이고 확장 가능한 방식으로 배포하는 데 유망한 접근법이다."
"수평 분할 방식은 에지 장치와 클라우드 간 추론 분산에 주로 사용되며, 수직 분할 방식은 아직 연구 초기 단계이다."
"대부분의 연구가 지연 시간과 처리량 최적화에 집중되어 있으며, 에너지 효율성 최적화는 상대적으로 소홀히 다루어지고 있다."