Core Concepts
비전 트랜스포머 모델의 높은 계산 복잡도를 해결하기 위해 정적 가중치 가지치기와 동적 토큰 가지치기를 결합하여 모델 크기와 계산 복잡도를 동시에 줄이는 알고리즘-하드웨어 공동 설계 기법을 제안한다.
Abstract
이 논문은 비전 트랜스포머(ViT) 모델의 높은 계산 복잡도 문제를 해결하기 위해 정적 가중치 가지치기와 동적 토큰 가지치기를 결합한 알고리즘-하드웨어 공동 설계 기법을 제안한다.
알고리즘 설계 부분에서는 다음과 같은 내용을 다룬다:
하드웨어 친화적인 구조화된 블록 가지치기 방법을 통해 모델 매개변수를 줄이고, 동적 토큰 가지치기 방법을 통해 중요하지 않은 토큰 벡터를 제거한다.
모델 정확도 회복을 위한 새로운 학습 알고리즘을 설계한다.
하드웨어 설계 부분에서는 다음과 같은 내용을 다룬다:
가지치기된 모델을 효율적으로 실행하기 위한 새로운 하드웨어 가속기를 개발한다.
다중 수준 병렬 처리와 부하 균형 전략을 사용하여 두 가지 가지치기 기법으로 인한 불규칙한 계산 패턴을 효과적으로 처리한다.
온-더-플라이 토큰 가지치기를 효율적으로 실행하기 위한 하드웨어 메커니즘을 개발한다.
제안된 접근법을 DeiT-Small 모델에 적용하고 최신 FPGA 보드에 구현한 결과, 최대 3.4배의 계산 복잡도 감소와 약 3%의 정확도 하락, 최대 1.6배의 모델 압축 비율을 달성했다. 또한 CPU, GPU, FPGA 대비 각각 평균 12.8배, 3.2배, 0.7-2.1배의 지연 시간 감소를 보였다.
Stats
제안된 알고리즘은 최대 3.4배의 계산 복잡도 감소를 달성했다.
제안된 알고리즘은 약 3%의 정확도 하락을 보였다.
제안된 알고리즘은 최대 1.6배의 모델 압축 비율을 달성했다.
제안된 FPGA 가속기는 CPU 대비 평균 12.8배, GPU 대비 3.2배, 기존 FPGA 대비 0.7-2.1배의 지연 시간 감소를 보였다.
Quotes
"비전 트랜스포머(ViTs)는 다양한 컴퓨터 비전 작업에서 최첨단 정확도를 달성했지만, 높은 계산 복잡도로 인해 많은 실제 응용 프로그램에 적용되기 어렵다."
"가중치 가지치기와 토큰 가지치기는 두 가지 잘 알려진 복잡도 감소 방법이지만, 이를 단순히 통합하면 불규칙한 계산 패턴으로 인해 정확도 저하와 하드웨어 가속의 어려움이 발생한다."