FPGA 기반 Convolution-Transformer 하이브리드 EfficientViT 가속기

Core Concepts

본 논문은 FPGA 기반의 EfficientViT 전용 가속기를 제안한다. 이를 위해 다양한 연산 유형을 효율적으로 지원하는 재구성 가능한 아키텍처와 인접 레이어 및 연산 간 융합을 통해 계산 자원 활용도와 대역폭 요구사항을 크게 개선하는 시간 다중화 및 파이프라인 데이터 흐름을 설계하였다.

Abstract

본 논문은 FPGA 기반의 EfficientViT 전용 가속기를 제안한다. EfficientViT는 Convolution-Transformer 하이브리드 아키텍처를 가지며, 다양한 연산 유형을 포함한다.

재구성 가능한 아키텍처 설계:

DWConv와 PWConv를 효율적으로 지원하는 RPE 엔진과 PWConv, 일반 Conv, MatMul을 효율적으로 처리하는 MAT 엔진으로 구성
RPE 엔진은 DW 모드와 PW 모드로 동작하여 다양한 커널 크기와 stride를 지원

시간 다중화 및 파이프라인 데이터 흐름:

MBConv 내 DWConv와 PWConv 간 융합, MSA 내 MatMul 연산 간 융합을 통해 계산 자원 활용도 향상 및 대역폭 요구사항 감소

실험 결과:

Xilinx ZCU102 FPGA에서 200MHz로 동작하며, 780.2 GOPS 처리량과 105.1 GOPS/W의 에너지 효율을 달성하여 기존 대비 큰 성능 향상을 보임

Stats

EfficientViT-B1 모델 실행 시 다음과 같은 성능 지표를 보임:

전체 하드웨어 활용도: 95% 이상
처리량: 780.2 GOPS
에너지 효율: 105.1 GOPS/W

Quotes

없음

Key Insights Distilled From

An FPGA-Based Reconfigurable Accelerator for Convolution-Transformer Hybrid EfficientViT

by Haikuo Shao,... at arxiv.org 04-01-2024

https://arxiv.org/pdf/2403.20230.pdf

Deeper Inquiries

EfficientViT 이외의 다른 Convolution-Transformer 하이브리드 모델에도 제안된 가속기 아키텍처를 적용할 수 있을까

제안된 가속기 아키텍처는 EfficientViT 외에도 다른 Convolution-Transformer 하이브리드 모델에도 적용할 수 있습니다. 이 아키텍처는 다양한 종류의 합성곱과 Multi-Scale Attention(MSA)와 같은 다양한 작업 유형을 효과적으로 지원할 수 있도록 설계되었기 때문에 다른 유형의 모델에도 적용할 수 있을 것입니다. 또한 시간 다중화 및 파이프라인 데이터 흐름을 통해 계산 및 통신 최적화를 통해 하드웨어 활용도를 극대화하고 대역폭 요구 사항을 최소화하는 기능을 제공하므로 다른 모델에도 적용 가능할 것입니다.

제안된 가속기 설계에서 RPE와 MAT 엔진의 최적 리소스 할당은 어떻게 결정되며, 이에 따른 성능 변화는 어떨까

RPE와 MAT 엔진의 최적 리소스 할당은 각각의 기능과 특성에 따라 결정됩니다. RPE 엔진은 DWConv, PWConv, 일반 Conv 및 MatMul과 같은 다양한 작업 유형을 지원하기 위해 설계되었으며, MAT 엔진은 주로 PWConv, 일반 Conv 및 MatMul을 효율적으로 실행하는 데 중점을 둡니다. 이러한 리소스 할당은 각 작업의 복잡성, 병목 현상 및 하드웨어 활용도를 최대화하기 위해 조정됩니다. 이에 따라 RPE와 MAT 엔진의 최적 리소스 할당은 전체적인 성능을 향상시키고 효율적인 하드웨어 가속을 가능하게 합니다.

제안된 가속기 설계를 ASIC으로 구현할 경우 어떤 추가적인 최적화 기회가 있을까

제안된 가속기 설계를 ASIC로 구현할 경우 추가적인 최적화 기회가 있습니다. ASIC 구현을 위해 더 많은 최적화를 수행할 수 있으며, 특히 전력 효율성과 성능을 향상시키기 위한 다양한 기술을 적용할 수 있습니다. ASIC에서는 전력 소비, 속도 및 면적을 고려하여 회로를 최적화하고, 특정 애플리케이션에 맞게 하드웨어를 튜닝할 수 있습니다. 또한 ASIC는 FPGA보다 더 높은 성능과 효율성을 제공할 수 있으므로 이러한 잠재력을 활용하여 더 나은 가속기 설계를 구현할 수 있을 것입니다.