科学的アプリケーションのための高データレート、低遅延ニューラルネットワーク推論の建築的含意

Core Concepts

科学的なアプリケーションにおいて、高データレートと低遅延を持つニューラルネットワークはすべてのパラメータをオンチップに保持する必要があります。

Abstract

ニューラルネットワーク（NN）が科学分野で重要性を増している。
高データレートでデータを処理するためには、すべてのNNパラメータをオンチップに収める必要がある。
オフチップからウェイトを取得する時間がない場合も多い。
カスタム/再構成可能なロジックとのコデザインが必要。
LHCセンサーベンチマークでは、オンチップ推論とカスタムアーキテクチャ実装が不可欠。
アーキテクチャ上の含意

科学的機械学習タスクでは、すべてのNNパラメータをオンチップに収める必要がある。
BRAMやFFなどのオンチップメモリは帯域幅と速度が高く、制約条件を満たすことができる。
メモリバンド幅と計算性能に基づいて異なるサイズのモデルに対する計算性能とメモリバンド幅を予測し、オンチップ推論領域を示す。
ハードウェア・ソフトウェアコデザイン

空間データフロースタイルやLUT（ルックアップテーブル）を使用したNN実装は精度とハードウェア性能要件を満たすためにコード設計されている。
ASICは25 nsのレイテンシ要件を満たす唯一のプラットフォームであり、カスタムハードウェアが必要。

Stats

LHCセンサーNNは80 GB/sのメモリバンド幅と25 nsのレイテンシ予算が必要です。ASICだけがこの25 nsレイテンシ予算を満たします。

Quotes

"全てのNNパラメータはオンチップに収まらなければならない。"
"カスタムおよび再構成可能なハードウェア上での硬貨/ソフトウェアコード設計はこれら極端なタスク要件に対応する手段です。"

Key Insights Distilled From

Architectural Implications of Neural Network Inference for High Data-Rate, Low-Latency Scientific Applications

by Olivia Weng,... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.08980.pdf

Deeper Inquiries

将来的な科学的機器進化に伴うニューラルネットワーク実装への影響は何ですか？

将来の科学的機器の進化に伴い、ニューラルネットワーク（NN）の実装には重要な影響があります。例えば、高性能でデータ処理速度が極めて高速な機器から発生する膨大なデータ量を効率的に処理するために、NNが必要とされることが増えています。これらの状況では、すべてのNNパラメータをオンチップで保持する必要性が高まります。また、既存のコンピュータアーキテクチャでは対応困難な巨大なNNをリアルタイムで実行することも課題です。そのため、カスタムチップや再構成可能ロジックを用いたコード設計が求められるようになります。

この研究結果から逸脱した視点から、この技術革新が他分野へどう影響するか考えられますか

この技術革新は他分野へどう影響するか考える際には、例えば医療分野や気象予測分野でも同様の問題や要求事項が浮上してくる可能性があります。医療画像解析や遺伝子解析などでも高速・低遅延でデータ処理を行う必要性からNNの活用が拡大し始めています。さらに自動運転技術や製造業界でも同様に高速かつ正確な判断力を持つシステム開発へ向けてこのような先端技術へ注目される傾向も見受けられます。

この研究結果から派生した新しい問題解決方法や発展的技術革新は何ですか

この研究結果から派生した新しい問題解決方法や発展的技術革新として、「空間データフロースタイル」と「ルックアップテーブル（LUT）」ベースのNN実装法等が挙げられます。これらは精度とハードウェアパフォーマンス要件を満たすために硬件ソフトウェア共同設計を重視した異なるアーキテクチャです。「hls4ml」や「FINN」等はFPGAおよびASIC向けで層ごとにファブリック割り当てし，それらをデータフローさせることで高スループットを達成します。「LUTs」全面採用型ではMAC演算子では無く，参照だけで完全推論します。