이 논문은 처리 인-메모리(PIM) 시스템에서 시각 변환기 모델의 추론 지연을 최소화하기 위한 Allspark 프레임워크를 제안한다.
실험 결과, Allspark은 다양한 시각 변환기 모델에 대해 1.2배~24.0배의 추론 속도 향상을 보였으며, Allspark 강화 PIM 시스템은 Nvidia V100 GPU 대비 평균 2.3배 속도 향상과 20배~55배의 에너지 절감 효과를 달성했다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Mengke Ge,Ju... a las arxiv.org 03-25-2024
https://arxiv.org/pdf/2403.15069.pdfConsultas más profundas