Core Concepts
동적 DNN 모델의 레이어 블록을 모바일-엣지-클라우드 시스템의 노드에 효율적으로 할당하여 에너지 소비를 최소화하는 것이 핵심 목표이다.
Abstract
이 논문은 동적 딥 신경망(DNN) 모델의 레이어 블록을 모바일-엣지-클라우드 시스템의 노드에 효율적으로 할당하는 문제를 다룬다. 동적 DNN은 조기 종료(early exit) 기능을 통해 입력 데이터의 복잡도에 따라 모델의 깊이를 동적으로 조절할 수 있다.
논문에서는 이러한 동적 DNN 모델의 레이어 블록을 다계층 네트워크 노드에 할당하는 문제를 다룬다. 이를 위해 3단계 그래프 모델링 접근법을 제안하여 DNN 분할 및 배포 옵션을 효율적으로 나타내고, 시스템 제약 조건과 애플리케이션 요구 사항을 반영한다.
제안하는 프레임워크인 Feasible Inference Graph(FIN)를 통해 전체 추론 에너지 소비를 최소화하면서도 다계층 네트워크에서 분산 추론을 수행할 수 있는 솔루션을 찾을 수 있다. 실험 결과, FIN은 최적 솔루션에 근접하면서도 기존 기법 대비 최대 65%의 에너지 절감 효과를 보인다.
Stats
모바일 노드의 계산 능력은 11 TOPS, 전력 소비는 6 W이다.
엣지 노드의 계산 능력은 153.4 TOPS, 전력 소비는 140 W이다.
클라우드 노드의 계산 능력은 312 TOPS, 전력 소비는 400 W이다.
모바일 노드의 통신 대역폭은 0.1 Gbps, 에너지 소비는 30 nJ/bit이다.
엣지 노드의 통신 대역폭은 560 Gbps, 에너지 소비는 37 nJ/bit이다.
클라우드 노드의 통신 대역폭은 4,480 Gbps, 에너지 소비는 12.6 nJ/bit이다.
Quotes
"동적 딥 신경망(DNN) 모델의 레이어 블록을 모바일-엣지-클라우드 시스템의 노드에 효율적으로 할당하여 에너지 소비를 최소화하는 것이 핵심 목표이다."
"FIN은 최적 솔루션에 근접하면서도 기존 기법 대비 최대 65%의 에너지 절감 효과를 보인다."