FLEXNN: A Flexible Neural Network Accelerator for Energy-Efficient Edge Devices

Core Concepts

FLEXNN introduces a flexible neural network accelerator that optimizes data movement and energy efficiency through adaptable dataflows and sparsity acceleration.

Abstract

FLEXNN introduces agile design principles for versatile dataflows, enhancing energy efficiency.
The architecture enables efficient processing of varying tensor dimensions in DNNs.
Sparsity-based acceleration logic optimizes computation by leveraging fine-grained sparsity in activations and weights.
FlexTree architecture dynamically adjusts adder tree depth for flexible partial sum accumulation.
Schedule-aware Tensor Distribution Network efficiently transfers data between memory and PE array based on optimal schedules.

Stats

データ移動コストがエネルギー消費に大きく影響し、データフローの柔軟性は最小限のデータ移動とエネルギー消費を実現する。
既存のDNNアクセラレータは固定スケジュールを採用しており、柔軟なハードウェア設計によるエネルギー効率最適化への関心が高まっている。
新しいスパース性加速ロジックは、非ゼロ値をスキップして冗長な計算を回避し、エネルギー消費を削減する。

Quotes

Key Insights Distilled From

FlexNN

by Arnab Raha,D... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.09026.pdf

Deeper Inquiries

どのようにFLEXNNの柔軟なデータフローがエネルギー効率向上に寄与していますか？

FLEXNNは、柔軟なデータフローを採用することでエネルギー効率を向上させています。従来のDNNアクセラレータが固定されたデータフローを持つのに対し、FLEXNNではソフトウェア設定可能な記述子を使用して任意のタイプのデータフローを実現しています。この柔軟性により、各層ごとに最適化された移動量や最小限のデータ移動が可能となり、エネルギー消費量が削減されます。特に、データ移動コストが計算コストよりも大きい場合が多いため、この柔軟性は重要です。固定データフロー構造では実現できない最適化が可能となることから、FLEXNNはエネルギーフットプリントを改善しました。

既存のDNNアクセラレータと比較して、FLEXNNのスパース性加速ロジックはどのように異なりますか？

既存のDNNアクセラレータではスパース性処理へ十分対応した設計は少なくありませんでした。一般的にスパース性処理は特定種類または層タイプ専用に調整されており、「EIE」や「SCNN」等特定層タイプ向けです。「Cnvlutin」では活性化関数部分だけスキッピングしますが重み圧縮機能は備えておらず、「Cambricon-X」でも同様です。
それに対し、「FlexTree」と呼ばれる新しい2面スパース性加速ロジック（Two-sided Sparsity Acceleration）では入力値（IFs）や重み（FLs）両方で0値判断時MAC演算操作中断する仕組みです。「FlexTree」内部ビットマップ生成後非0出力数確認→PEへ提供→演算→OF格納→圧縮格納・次回利用準備　これら一連作業全体通じ高速処理能力強化目指す点異質。

FlexTreeアーキテクチャが部分和累積効率を向上させる方法は何ですか？

「FlexTree」アーキテクチャではPE配列内から得られる16入力信号受取後ICP=1～16範囲可変インプットチャンネル割当方式採択します。「ICP=2」という例示時64入力信号あってもadder tree network通過前OF出力必須手法確立します。これ保守的設計規模低減・単位制度担保役立ちます。
11