基於能量感知的洩漏積分與發放 (LIF) 神經元脈衝神經網路 FPGA 實現

Concepts de base

本文提出了一種基於洩漏積分與發放 (LIF) 神經元的脈衝神經網路 (SNN) 架構，並在 FPGA 平台上實現，展現出比傳統二元卷積神經網路更高的能效，尤其適用於資源受限的 TinyML 應用。

Résumé

基於能量感知的洩漏積分與發放 (LIF) 神經元脈衝神經網路 FPGA 實現

本研究論文介紹了一種基於洩漏積分與發放 (LIF) 神經元的脈衝神經網路 (SNN) 架構，旨在為 TinyML 系統（如微型無人機和無人地面載具）提供高效的視覺機器學習演算法部署方案。

研究目標：

• 開發一種針對微型無人機和無人地面載具優化的基於視覺的 TinyML 框架。
• 調整廣泛認可的一階 LIF 模型，使其適用於 TinyML 應用中的設備端處理，並使用具有挑戰性的數據集進行測試。
• 設計一種強大的硬體解決方案，專為在 FPGA 平台上高效部署此 SNN 模型而定制。

方法：

• 使用 snntorch 庫構建 SNN 模型，並利用 PyTorch 生態系統進行基於 GPU 的訓練和測試加速。
• 採用包含約 32K 標註圖像的數據集，每個圖像都標記為碰撞或未碰撞，用於監督學習過程中的網路訓練。
• 使用 Verilog HDL 對 LIF 神經元模型進行編碼，並使用 Xilinx ISE 進行編譯，以確保針對硬體應用的優化。
• 將生成的 SNN 部署到 Xilinx Artix-7 FPGA 板上。

主要發現：

• LIF 模型在不同圖像大小下表現出不同的訓練和測試精度，在 64×64 圖像大小下達到最高的 85% 測試精度。
• 與傳統的二元卷積神經網路 (BCNN) 相比，SNN 模型的功耗顯著降低，同時實現了更高的每秒運算次數 (GOPS)。
• SNN 的能效高達 1093 GOPS/W，比 BCNN 高 86%，證明了其在資源受限環境中的優勢。
• 與其他神經元模型相比，所提出的 LIF 模型在資源利用率、工作頻率和功耗之間取得了良好的平衡。

主要結論：

• 基於一階 LIF 的 SNN 方法為 TinyML 系統中的視覺機器學習任務提供了高效且節能的解決方案。
• 該方法在障礙物檢測任務中表現出良好的準確性和能效，證明了其在自動駕駛等實際應用中的潛力。
• 未來的工作可以集中於探索更複雜的 SNN 架構，並針對特定 TinyML 應用優化硬體設計。

意義：

本研究強調了神經形態運算向實用化、日常應用發展的趨勢，為該領域的未來發展樹立了新的標竿。

局限性和未來研究方向：

• 未來的研究可以探索更複雜的 SNN 架構，以進一步提高性能。
• 應進一步努力優化硬體設計，以減少資源利用並提高工作頻率。
• 研究 SNN 在其他 TinyML 應用中的適用性將是有價值的。

Stats

SNN 模型的功耗為 495 毫瓦。
SNN 的性能為 541 GOPS。
SNN 的能效為 1093 GOPS/W。
BCNN 的功耗為 2300 毫瓦。
BCNN 的性能為 329 GOPS。
BCNN 的能效為 143 GOPS/W。
LIF 模型在 64×64 圖像大小下達到最高的 85% 測試精度。

Citations

"This paper presents a novel SNN architecture based on the 1st Order Leaky Integrate-and-Fire (LIF) neuron model to efficiently deploy vision-based ML algorithms on TinyML systems."
"The results show the proposed approach is 86% more energy efficient than the baseline."

Idées clés tirées de

Energy-Aware FPGA Implementation of Spiking Neural Network with LIF Neurons

by Asmer Hamid ... à arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01628.pdf

Questions plus approfondies

如何進一步優化所提出的 LIF SNN 模型以應對更複雜的視覺任務？

為了應對更複雜的視覺任務，可以從以下幾個方面對所提出的 LIF SNN 模型進行優化：

網絡結構優化:

增加網絡深度: 可以通過增加網絡層數或在每一層中使用更多神經元來提高模型的表達能力。
採用更複雜的神經元模型: 可以考慮使用更複雜的神經元模型，例如 Izhikevich 神經元模型，它可以模擬更豐富的神經元動力學特性。
引入卷積和池化操作: 可以借鑒卷積神經網絡 (CNN) 的設計理念，在 SNN 中引入卷積和池化操作，以提取更抽象的視覺特徵。

訓練算法優化:

採用更先進的學習規則: 可以探索更先進的學習規則，例如時間信用分配反向傳播 (STDP-BP) 算法，以提高 SNN 的訓練效率和準確性。
引入注意力機制: 可以借鑒注意力機制，讓 SNN 模型更加關注重要的視覺信息，從而提高模型的性能。

數據增強:

使用更多樣化的數據集: 可以使用更大、更多樣化的數據集來訓練 SNN 模型，以提高模型的泛化能力。
採用數據增強技術: 可以採用數據增強技術，例如旋轉、縮放、裁剪等，來擴充訓練數據集，從而提高模型的魯棒性。

硬件加速:

設計專用的硬件加速器: 可以設計專用的硬件加速器，以提高 SNN 模型的運行速度和能效。
利用 FPGA 或 ASIC 等硬件平台: 可以利用 FPGA 或 ASIC 等硬件平台來實現 SNN 模型，以充分發揮 SNN 模型的低功耗和實時性優勢。

在實際應用中，如何解決 SNN 模型對噪聲和環境變化敏感的問題？

SNN 模型對噪聲和環境變化敏感是一個普遍問題，以下是一些解決方案：

數據預處理:

噪聲抑制: 在將數據輸入 SNN 模型之前，可以使用噪聲抑制技術，例如高斯濾波、中值濾波等，來降低噪聲的影響。
環境歸一化: 可以對輸入數據進行歸一化處理，例如亮度歸一化、對比度歸一化等，以減輕環境變化帶來的影響。

模型魯棒性提升:

正則化技術: 在訓練 SNN 模型時，可以使用正則化技術，例如 dropout、權重衰減等，來提高模型的泛化能力和魯棒性。
对抗訓練: 可以採用对抗訓練方法，通過生成对抗樣本來訓練 SNN 模型，以提高模型對噪聲和擾動的魯棒性。

多模態信息融合:

結合其他傳感器數據: 可以將 SNN 模型與其他傳感器數據（例如雷達、激光雷達等）進行融合，以提高模型對環境的感知能力和魯棒性。
多模態數據增強: 可以採用多模態數據增強技術，例如在不同噪聲水平和環境條件下生成訓練數據，以提高模型的泛化能力。

事件濾波:

基於統計特性的事件濾波: 可以根據事件的統計特性（例如事件率、事件間隔等）來过滤掉噪声事件。
基於空間相關性的事件濾波: 可以利用事件的空间相关性，例如只保留在特定区域内发生的事件，以过滤掉噪声事件。

除了能效之外，SNN 在 TinyML 應用中還具有哪些其他優勢？

除了能效之外，SNN 在 TinyML 應用中還具有以下優勢：

低延遲: SNN 的事件驅動特性使其能夠對輸入數據做出快速響應，從而實現低延遲處理，這對於實時應用至關重要。
稀疏計算: SNN 只在神經元發放脈衝時才進行計算，這與傳統的人工神經網絡相比，可以顯著降低計算量和功耗。
生物可解釋性: SNN 的設計靈感來自於生物神經系統，因此其工作原理更易於理解和解釋，這對於一些需要可解釋性的應用非常重要。
在線學習能力: SNN 可以通過類似於生物突觸可塑性的機制進行在線學習，這使得 SNN 模型能夠適應不斷變化的環境和任務。

總之，SNN 作为一种新兴的神经网络模型，在 TinyML 领域具有巨大的应用潜力，尤其是在需要低功耗、低延遲和實時處理的場景下。