비전 트랜스포머 모델의 FPGA 상에서의 정적 및 동적 가지치기를 통한 추론 가속화

Concepts de base

비전 트랜스포머 모델의 높은 계산 복잡도를 해결하기 위해 정적 가중치 가지치기와 동적 토큰 가지치기를 결합하여 모델 크기와 계산 복잡도를 동시에 줄이는 알고리즘-하드웨어 공동 설계 기법을 제안한다.

Résumé

이 논문은 비전 트랜스포머(ViT) 모델의 높은 계산 복잡도 문제를 해결하기 위해 정적 가중치 가지치기와 동적 토큰 가지치기를 결합한 알고리즘-하드웨어 공동 설계 기법을 제안한다.
알고리즘 설계 부분에서는 다음과 같은 내용을 다룬다:

하드웨어 친화적인 구조화된 블록 가지치기 방법을 통해 모델 매개변수를 줄이고, 동적 토큰 가지치기 방법을 통해 중요하지 않은 토큰 벡터를 제거한다.
모델 정확도 회복을 위한 새로운 학습 알고리즘을 설계한다.
하드웨어 설계 부분에서는 다음과 같은 내용을 다룬다:

가지치기된 모델을 효율적으로 실행하기 위한 새로운 하드웨어 가속기를 개발한다.
다중 수준 병렬 처리와 부하 균형 전략을 사용하여 두 가지 가지치기 기법으로 인한 불규칙한 계산 패턴을 효과적으로 처리한다.
온-더-플라이 토큰 가지치기를 효율적으로 실행하기 위한 하드웨어 메커니즘을 개발한다.
제안된 접근법을 DeiT-Small 모델에 적용하고 최신 FPGA 보드에 구현한 결과, 최대 3.4배의 계산 복잡도 감소와 약 3%의 정확도 하락, 최대 1.6배의 모델 압축 비율을 달성했다. 또한 CPU, GPU, FPGA 대비 각각 평균 12.8배, 3.2배, 0.7-2.1배의 지연 시간 감소를 보였다.

Stats

제안된 알고리즘은 최대 3.4배의 계산 복잡도 감소를 달성했다.
제안된 알고리즘은 약 3%의 정확도 하락을 보였다.
제안된 알고리즘은 최대 1.6배의 모델 압축 비율을 달성했다.
제안된 FPGA 가속기는 CPU 대비 평균 12.8배, GPU 대비 3.2배, 기존 FPGA 대비 0.7-2.1배의 지연 시간 감소를 보였다.

Citations

"비전 트랜스포머(ViTs)는 다양한 컴퓨터 비전 작업에서 최첨단 정확도를 달성했지만, 높은 계산 복잡도로 인해 많은 실제 응용 프로그램에 적용되기 어렵다."
"가중치 가지치기와 토큰 가지치기는 두 가지 잘 알려진 복잡도 감소 방법이지만, 이를 단순히 통합하면 불규칙한 계산 패턴으로 인해 정확도 저하와 하드웨어 가속의 어려움이 발생한다."

Idées clés tirées de

Accelerating ViT Inference on FPGA through Static and Dynamic Pruning

by Dhruv Parikh... à arxiv.org 03-22-2024

https://arxiv.org/pdf/2403.14047.pdf

Questions plus approfondies

제안된 접근법을 다른 비전 트랜스포머 모델에 적용했을 때 어떤 성능 향상을 얻을 수 있을까

제안된 접근법은 다른 비전 트랜스포머 모델에 적용될 경우 성능 향상을 기대할 수 있습니다. 이는 제안된 알고리즘-하드웨어 코드 디자인이 가중치 가지치기와 토큰 가지치기를 효과적으로 결합하여 모델의 크기와 계산 복잡성을 줄이는 데 효과적이기 때문입니다. 다른 비전 트랜스포머 모델에도 이러한 접근법을 적용하면 모델의 효율성과 성능을 향상시킬 수 있을 것입니다. 특히 가중치와 토큰 가지치기를 동시에 적용하여 모델을 최적화하고 가속화하는 방법은 다양한 비전 트랜스포머 모델에 적용할 수 있는 유용한 전략일 것입니다.

정적 가중치 가지치기와 동적 토큰 가지치기 외에 다른 조합의 가지치기 기법을 고려해볼 수 있을까

정적 가중치 가지치기와 동적 토큰 가지치기 외에도 다른 조합의 가지치기 기법을 고려할 수 있습니다. 예를 들어, 가중치와 토큰 가지치기를 결합하는 것 외에도 층별 가지치기, 그룹 가지치기, 또는 채널 가지치기와 같은 다양한 가지치기 전략을 고려할 수 있습니다. 각 가지치기 기법은 모델의 특성과 요구 사항에 따라 적합한 방법일 수 있으며, 이러한 다양한 가지치기 전략을 조합하여 모델을 최적화하는 것이 중요합니다.

제안된 하드웨어 가속기 설계를 다른 하드웨어 플랫폼에 적용하면 어떤 성능 차이가 있을까

제안된 하드웨어 가속기 설계를 다른 하드웨어 플랫폼에 적용했을 때 성능 차이가 있을 수 있습니다. 다른 하드웨어 플랫폼에 따라서는 처리 속도, 메모리 대역폭, 리소스 활용 등이 다를 수 있기 때문입니다. 예를 들어, CPU는 범용적인 작업에 적합하고 GPU는 병렬 처리에 특화되어 있습니다. FPGA는 유연한 프로그래밍이 가능하며 특정 작업에 대해 매우 높은 성능을 발휘할 수 있습니다. 따라서 다른 하드웨어 플랫폼에 제안된 하드웨어 가속기 설계를 적용할 때는 각 플랫폼의 특성을 고려하여 최적화된 성능을 얻을 수 있을 것입니다.