최적화된 코드로 구현하여 온디바이스 DL 모델을 대체하는 것이 가장 좋은 모델

Grunnleggende konsepter

온디바이스 DL 모델을 순수 코드 구현으로 대체하여 보안을 강화하고 성능을 향상시킬 수 있다.

Sammendrag

이 연구는 온디바이스 DL 모델의 보안 및 성능 문제를 해결하기 위해 순수 코드 구현으로 대체하는 방법을 제안한다.

모델 파싱 단계에서는 DL 모델의 연산자와 매개변수 정보를 분석한다. 연산 단위 추출 단계에서는 DL 라이브러리에서 각 연산자에 해당하는 계산 코드 단위를 찾아낸다. 데이터 구성 분석 단계에서는 각 계산 단위에 필요한 데이터를 구성한다. 동적 구성 단계에서는 불확실한 상태 정보를 자동으로 구성하여 완전한 C++ 프로그램을 생성한다.

실험 결과, 제안 방법은 기존 온디바이스 모델 배포 방식보다 보안성이 높고, 모델 추론 속도를 21.0%(x86-64)와 24.3%(ARM64) 향상시켰으며, 메모리 사용량을 68.8%(x86-64)와 36.0%(ARM64) 감소시켰다. 이를 통해 제안 방법이 온디바이스 DL 모델의 보안과 성능을 크게 개선할 수 있음을 보여준다.

Statistikk

제안 방법은 x86-64 플랫폼에서 모델 추론 속도를 21.0% 향상시켰다.
제안 방법은 ARM64 플랫폼에서 모델 추론 속도를 24.3% 향상시켰다.
제안 방법은 x86-64 플랫폼에서 메모리 사용량을 68.8% 감소시켰다.
제안 방법은 ARM64 플랫폼에서 메모리 사용량을 36.0% 감소시켰다.

Sitater

없음

Viktige innsikter hentet fra

Model-less Is the Best Model

by Mingyi Zhou,... klokken arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.16479.pdf

Dypere Spørsmål

온디바이스 DL 모델 배포에 대한 다른 접근 방식은 무엇이 있을까?

온디바이스 DL 모델 배포에는 다양한 접근 방식이 있습니다. CustomDLCoder의 경우에는 DL 모델의 계산 코드를 추출하여 순수한 C++ 프로그램으로 변환하는 방식을 사용합니다. 다른 접근 방식으로는 모델 파일과 라이브러리를 직접 사용하는 방법이 있습니다. 또한, 클라우드 기반의 DL 모델을 온디바이스로 이동시키는 방법이나 모델을 경량화하여 배포하는 방법 등이 있을 수 있습니다.