核心概念
다양한 모바일 기기에서 CNN 추론을 가속화하기 위해 파이프라인 협력 프레임워크를 제안한다. 이 프레임워크는 CNN 모델을 최소한의 중복 계산으로 분할하고, 이기종 기기 간 최적의 파이프라인 구성을 생성한다.
要約
이 논문은 다양한 모바일 기기에서 CNN 추론을 가속화하기 위한 파이프라인 협력 프레임워크 PICO를 제안한다.
- PICO의 핵심 구성요소:
- 주어진 CNN의 특성을 고려하여 적절한 크기의 모델 조각으로 분할하는 일반화된 그래프 분할 알고리즘
- 이기종 기기에 최적의 파이프라인 구성을 생성하는 다대다 매핑 알고리즘
- 그래프 구조의 CNN 모델을 효율적으로 처리하기 위해:
- 중복 계산을 최소화하도록 CNN 모델을 연쇄 구조의 조각으로 분할
- 동적 프로그래밍 기반의 최적화 알고리즘을 통해 파이프라인 구성을 결정
- 이기종 환경에 적응하기 위해:
- 균일한 환경에서 최적화된 파이프라인 구성을 이기종 환경에 맞게 조정하는 휴리스틱 알고리즘 사용
- 실험 결과:
- 2~8대의 Raspberry-Pi 기기를 사용하여 1.8~6.8배의 처리량 향상 달성
統計
실험에 사용된 Raspberry-Pi 기기의 CPU 주파수에 따라 1.8~6.8배의 처리량 향상을 달성했다.