Core Concepts
본 논문은 FPGA 기반의 EfficientViT 전용 가속기를 제안한다. 이를 위해 다양한 연산 유형을 효율적으로 지원하는 재구성 가능한 아키텍처와 인접 레이어 및 연산 간 융합을 통해 계산 자원 활용도와 대역폭 요구사항을 크게 개선하는 시간 다중화 및 파이프라인 데이터 흐름을 설계하였다.
Abstract
본 논문은 FPGA 기반의 EfficientViT 전용 가속기를 제안한다. EfficientViT는 Convolution-Transformer 하이브리드 아키텍처를 가지며, 다양한 연산 유형을 포함한다.
- 재구성 가능한 아키텍처 설계:
- DWConv와 PWConv를 효율적으로 지원하는 RPE 엔진과 PWConv, 일반 Conv, MatMul을 효율적으로 처리하는 MAT 엔진으로 구성
- RPE 엔진은 DW 모드와 PW 모드로 동작하여 다양한 커널 크기와 stride를 지원
- 시간 다중화 및 파이프라인 데이터 흐름:
- MBConv 내 DWConv와 PWConv 간 융합, MSA 내 MatMul 연산 간 융합을 통해 계산 자원 활용도 향상 및 대역폭 요구사항 감소
- 실험 결과:
- Xilinx ZCU102 FPGA에서 200MHz로 동작하며, 780.2 GOPS 처리량과 105.1 GOPS/W의 에너지 효율을 달성하여 기존 대비 큰 성능 향상을 보임
Stats
EfficientViT-B1 모델 실행 시 다음과 같은 성능 지표를 보임:
전체 하드웨어 활용도: 95% 이상
처리량: 780.2 GOPS
에너지 효율: 105.1 GOPS/W