이기종 모바일 프로세서에서의 딥러닝 추론: 가능성과 한계

Concepts de base

이기종 모바일 프로세서를 활용한 딥러닝 추론 기법의 실효성과 한계를 분석하고, 이를 개선하기 위한 크로스 레벨 최적화 기회를 제시한다.

Résumé

본 연구는 이기종 모바일 프로세서에서의 병렬 딥러닝 추론 기법의 실효성을 종합적으로 평가한다. 다양한 딥러닝 모델, 모바일 소프트웨어/하드웨어 환경, 워크로드 패턴, 리소스 가용성 등을 고려한 실험을 통해 다음과 같은 통찰을 얻었다.

기존 병렬 추론 기법의 한계:

프로세서 간 지원되지 않는 연산자로 인한 프로세스 폴백 및 리소스 비효율
프론트엔드 및 백엔드 컴파일 단계의 크로스 레벨 최적화 기회

병렬 추론이 항상 유리한 것은 아님:

병렬 스케줄링 granularity에 따른 성능 변화
다른 프로세스와의 리소스 경쟁으로 인한 전체 시스템 성능 저하

실시간 프로파일링의 필요성:

오프라인 프로파일링과 실제 실행 간 성능 격차
모바일 환경의 동적 리소스 변화에 적응적 최적화 필요

이러한 통찰을 바탕으로, 모바일 환경에 적합한 병렬 딥러닝 추론 기법 설계를 위한 기회와 방향성을 제시한다.

Stats

리소트 855 기반 ResNet-50 병렬 추론 시, CPU-GPU 병렬 실행에서 약 48%의 연산자가 지원되지 않아 CPU로 폴백되었다.
리소스 855 기반 Fast Style Transfer 병렬 추론 시, CPU-GPU 병렬 실행이 단일 GPU 실행보다 1.9~3.1배 느렸다.
리소스 855 기반 ResNet-18 병렬 추론 시, 크로스 레벨 최적화(프런트엔드 압축 + 백엔드 병렬화)를 통해 48.4% 추론 지연 시간 단축이 가능했다.
리소스 855 기반 VGG-16 병렬 추론 시, 경쟁 프로세스 증가에 따라 CPU 활용도가 10.2배 증가한 반면, GPU와 DSP는 각각 2.1배, 1.8배 증가에 그쳤다.

Citations

"기존 솔루션은 DL 모델에 무관하게 최적화되어 있어 과도한 매개변수화가 발생하며, 이는 DAG 변환 전 최적화를 통해 개선될 수 있다."
"병렬 실행은 GPU 부하를 줄여 UI 프레임 드롭률을 감소시킬 수 있지만, 과도한 GPU 활용은 오히려 다른 프로세스의 성능을 저하시킬 수 있다."
"모바일 환경의 동적 리소스 변화로 인해 오프라인 프로파일링과 실제 실행 간 성능 격차가 발생하므로, 실시간 프로파일링이 필요하다."

Idées clés tirées de

Deep Learning Inference on Heterogeneous Mobile Processors: Potentials and Pitfalls

by Sicong Liu,W... à arxiv.org 05-06-2024

https://arxiv.org/pdf/2405.01851.pdf

Questions plus approfondies

모바일 환경에서 병렬 추론 기법의 성능을 최적화하기 위해서는 어떤 방향으로 연구가 진행되어야 할까?

병렬 추론 기법의 성능을 최적화하기 위해서는 다음과 같은 방향으로 연구가 진행되어야 합니다:

효율적인 리소스 활용: 모바일 기기의 다양한 프로세서를 활용하여 DL 모델의 병렬 실행을 최적화해야 합니다. 이를 위해 연구는 다양한 프로세서 간의 작업 분배, 부하 균형, 통신 비용 최소화를 고려해야 합니다.
동적 리소스 관리: 모바일 환경의 동적 리소스 변화에 적응적으로 대응할 수 있는 방법을 연구해야 합니다. 이는 DVFS 전략, 경쟁 프로세스 요구 사항, 작업 부하 등을 고려하여 최적의 리소스 할당을 실현해야 합니다.
효율적인 데이터 재사용: DL 모델 추론 중 중간 결과물의 재사용을 통해 성능을 향상시킬 수 있습니다. 이를 통해 데이터 전송 및 연산 비용을 줄이고 추론 속도를 향상시킬 수 있습니다.

기존 병렬 추론 기법의 한계를 극복하기 위해 어떤 새로운 접근 방식을 고려해볼 수 있을까?

기존 병렬 추론 기법의 한계를 극복하기 위해 다음과 같은 새로운 접근 방식을 고려해볼 수 있습니다:

전방향 및 후방향 최적화의 통합: DL 모델의 최적화를 위해 전방향 및 후방향 최적화를 통합하여 새로운 최적화 기법을 개발할 수 있습니다.
동적 리소스 할당 알고리즘: 모바일 환경의 동적 리소스 변화에 대응하기 위한 새로운 리소스 할당 알고리즘을 고안하여 효율적인 추론을 실현할 수 있습니다.
모델 특화 최적화: DL 모델의 특성에 맞게 최적화된 병렬 추론 기법을 개발하여 성능을 향상시킬 수 있습니다.

모바일 환경의 동적 리소스 변화에 적응적으로 대응하기 위한 프로파일링 및 스케줄링 기법은 어떻게 설계될 수 있을까?

모바일 환경의 동적 리소스 변화에 적응적으로 대응하기 위한 프로파일링 및 스케줄링 기법은 다음과 같이 설계될 수 있습니다:

실시간 프로파일링: 모바일 기기에서 DL 모델 추론 중에 발생하는 리소스 사용량을 실시간으로 모니터링하고 분석하여 동적 리소스 변화에 대응할 수 있는 프로파일링 기법을 개발합니다.
동적 스케줄링 알고리즘: 모바일 환경의 리소스 변화에 따라 DL 모델의 작업을 동적으로 스케줄링하는 알고리즘을 개발하여 최적의 성능을 유지할 수 있습니다.
오프라인 및 온라인 학습: 오프라인에서 수집한 데이터를 기반으로 모델을 학습하고, 온라인에서 실시간으로 모델을 업데이트하여 동적 리소스 변화에 대응할 수 있는 스케줄링 기법을 구현합니다.