核心概念
Ev-Edge는 이벤트 기반 비전 알고리즘의 성능을 향상시키기 위해 세 가지 핵심 최적화를 제안한다: 1) 이벤트를 직접 희소 프레임으로 변환하여 희소 라이브러리 사용, 2) 하드웨어 처리 능력과 입력 동적을 고려하여 희소 프레임을 동적으로 병합, 3) 계산 및 통신 오버헤드를 고려하여 다중 작업을 다른 처리 요소에 매핑하고 레이어 정밀도를 선택.
摘要
이 논문은 이벤트 기반 비전 알고리즘의 성능을 일반 엣지 플랫폼에서 향상시키기 위한 Ev-Edge 프레임워크를 제안한다.
첫째, Event2Sparse Frame 변환기(E2SF)는 원시 이벤트 스트림을 직접 희소 프레임 표현으로 변환하여 중간 이벤트 프레임이 필요 없도록 한다. 이를 통해 희소 라이브러리를 사용할 수 있고 생성된 이벤트에 비례하여 계산 오버헤드가 발생한다.
둘째, Dynamic Sparse Frame Aggregator(DSFA)는 입력 동적과 하드웨어 처리 능력을 고려하여 희소 프레임을 동적으로 병합한다. 이를 통해 하드웨어 활용도를 높이고 지연 시간을 개선한다.
셋째, Network Mapper(NMP)는 계산 및 통신 오버헤드를 고려하여 다중 작업을 다른 처리 요소에 매핑하고 레이어 정밀도를 선택한다. 이를 통해 다중 작업 실행 시나리오에서 지연 시간을 개선한다.
Ev-Edge는 다양한 최신 SNN, ANN 및 하이브리드 SNN-ANN 네트워크에 대해 단일 작업 시나리오에서 1.28x-2.05x 지연 시간 개선과 1.23x-2.15x 에너지 효율 개선을 달성했다. 또한 다중 작업 실행 시나리오에서 1.43x-1.81x 지연 시간 개선을 달성했다.
統計資料
다양한 네트워크에서 이벤트 프레임당 평균 이벤트 비율이 0.15%-28.57%로 매우 낮음
이벤트 기반 광학 흐름 추정 네트워크에서 이벤트 처리를 위한 연산이 크게 증가함
引述
"Event cameras have emerged as a promising sensing modality for autonomous navigation systems, owing to their high temporal resolution, high dynamic range and negligible motion blur."
"We observe that executing such workloads on commodity edge platforms which feature heterogeneous processing elements such as CPUs, GPUs and neural accelerators results in inferior performance."