Core Concepts
EfficientViTの特徴的な畳み込み-トランスフォーマーハイブリッド構造を効率的に加速するための再構成可能なFPGA加速器を提案する。
Abstract
本論文では、EfficientViTのハードウェア効率を向上させるためのFPGA加速器を提案している。
まず、EfficientViTの構造を分析し、その中に含まれる様々な演算タイプ(軽量畳み込み、軽量アテンション等)を効率的にサポートするための再構成可能な処理エレメント(RPE)アーキテクチャを設計した。
さらに、隣接する畳み込み演算や、アテンション演算内部の計算を時分割パイプラインで融合する新しいデータフローを提案した。これにより、計算リソースの利用効率を高めつつ、メモリ帯域幅の要求を低減することができる。
提案手法をZCU102 FPGAに実装した結果、780.2 GOPSの処理性能と105.1 GOPS/Wのエネルギー効率を達成し、従来手法と比較して大幅な性能向上を示した。
Stats
提案手法はZCU102 FPGAで200MHzで動作し、780.2 GOPSの処理性能と105.1 GOPS/Wのエネルギー効率を達成した。
提案手法は従来手法と比較して、1.1倍の処理性能と1.25倍のエネルギー効率を実現した。
Quotes
"EfficientViTの特徴的な畳み込み-トランスフォーマーハイブリッド構造を効率的に加速するための再構成可能なFPGA加速器を提案する。"
"隣接する畳み込み演算や、アテンション演算内部の計算を時分割パイプラインで融合する新しいデータフローを提案した。これにより、計算リソースの利用効率を高めつつ、メモリ帯域幅の要求を低減することができる。"