基於 LUT 的高效乘法：LUTMUL 如何突破傳統 FPGA 性能上限，加速神經網路推理

Keskeiset käsitteet

本文提出了一種名為 LUTMUL 的演算法硬體協同設計方法，該方法利用 FPGA 中大量的查找表 (LUT) 資源來執行高效的乘法運算，從而突破傳統基於 DSP 的 FPGA 加速器性能瓶頸，實現更高效的神經網路推理。

Tiivistelmä

文獻資訊

• 標題：LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference
• 作者：Yanyue Xie, Zhengang Li, Dana Diaconu, Suranga Handagala, Miriam Leeser, and Xue Lin
• 會議：30th Asia and South Pacific Design Automation Conference (ASPDAC ’25)
• 時間：January 20–23, 2025
• 地點：Tokyo, Japan

研究目標

本研究旨在解決基於 FPGA 的神經網路加速器在處理乘法運算時，過度依賴數字信號處理 (DSP) 模組而導致性能受限的問題。

方法

• 提出 LUTMUL，一種利用查找表 (LUT) 進行高效乘法的演算法硬體協同設計方法。
• 設計了一種可重構的數據流架構，最大限度地利用 LUT 資源並減少記憶體訪問時間。
• 採用量化感知訓練，將神經網路權重和激活值量化為 4 位元，以適應 LUT 的儲存和運算能力。

主要發現

• LUTMUL 方法在資源效率方面優於傳統的 LUT 乘法器，平均只需 2 個 LUT 即可完成一次 4 位元乘法運算。
• 基於 LUTMUL 的 FPGA 設計在使用相同資源的情況下，其性能有可能超過傳統基於 DSP 的 FPGA 加速器。
• 在 Alveo U280 FPGA 上進行的實驗結果表明，LUTMUL 方法在 ImageNet 數據集上實現了 70.95% 的 Top-1 準確率和每秒 1627 張圖像的吞吐量，優於其他基於 FPGA 的 MobileNet 加速器。

主要結論

LUTMUL 方法為 FPGA 加速神經網路推理提供了一種高效且可行的解決方案，通過利用大量可用的 LUT 資源，可以突破傳統基於 DSP 的設計瓶頸，實現更高的性能和能源效率。

研究意義

本研究對於推動基於 FPGA 的深度學習加速器發展具有重要意義，尤其是在資源受限的邊緣計算場景中，LUTMUL 方法可以充分發揮 FPGA 的靈活性和可重構性，為部署高性能、低功耗的深度學習應用提供新的思路。

局限性和未來研究方向

• 本研究主要針對卷積神經網路進行了評估，未來可以進一步探索 LUTMUL 方法在其他類型神經網路上的應用。
• 未來可以研究如何進一步優化 LUTMUL 的數據流架構，以降低 adder logic 的資源佔用，並提高整體性能和能源效率。

Tilastot

與 GPU 相比，FPGA 的時脈頻率、計算核心數量和記憶體頻寬都較低，這導致 FPGA 的推理速度通常不如 GPU。
FPGA 中的 LUT 資源通常比 DSP 多 100 倍。
使用 4 位元量化權重和激活值可以在保持模型準確率的同時，顯著減少 LUT 的使用量。
LUTMUL 方法平均只需 2 個 LUT 即可完成一次 4 位元乘法運算，而傳統的 LUT 乘法器則需要 13-28 個 LUT。
在 Alveo U280 FPGA 上，LUTMUL 方法實現了 70.95% 的 Top-1 準確率和每秒 1627 張圖像的吞吐量。

Lainaukset

Tärkeimmät oivallukset

LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference

by Yanyue Xie, ... klo arxiv.org 11-20-2024

https://arxiv.org/pdf/2411.11852.pdf

Syvällisempiä Kysymyksiä

LUTMUL 方法如何應用於其他需要大量乘法運算的應用場景，例如信號處理、圖像處理等？

LUTMUL 方法的核心是將乘法運算轉化為查表操作，從而利用 FPGA 中豐富的 LUT 資源實現高效計算。這種方法可以廣泛應用於其他需要大量乘法運算的應用場景，例如：

信號處理： 很多信號處理算法，例如快速傅里葉變換 (FFT)、有限脈衝響應濾波器 (FIR) 和無限脈衝響應濾波器 (IIR) 等，都需要大量的乘法運算。通過將這些乘法操作預先計算並存儲在 LUT 中，可以顯著提高計算速度和效率。
圖像處理： 圖像處理中的很多算法，例如卷積、濾波、顏色空間轉換等，也需要大量的乘法運算。LUTMUL 方法可以將這些乘法操作轉化為查表操作，從而提高圖像處理的速度和效率。
需要注意的是，LUTMUL 方法的效率與量化位寬密切相關。對於精度要求較高的應用場景，需要選擇較高的量化位寬，這可能會增加 LUT 的使用量。

基於 LUT 的設計在處理精度要求較高的應用場景時，如何克服量化誤差帶來的影響？

在處理精度要求較高的應用場景時，可以採用以下方法來克服量化誤差帶來的影響：

提高量化位寬： 較高的量化位寬可以表示更精確的數值，從而減少量化誤差。但是，更高的位寬也會增加 LUT 的使用量和計算複雜度。
採用混合精度量化： 對於不同的運算和數據，可以採用不同的量化位寬。例如，對於精度要求較高的運算，可以使用較高的位寬；而對於精度要求較低的運算，可以使用較低的位寬。
量化感知訓練： 在訓練神經網絡時，可以將量化誤差考慮進去，通過調整網絡參數來補償量化誤差帶來的影響。
誤差校正技術： 可以使用一些誤差校正技術，例如基於 LUT 的線性插值或多項式逼近，來減輕量化誤差的影響。

如果將 LUTMUL 方法與其他 FPGA 優化技術（例如流水線、并行處理等）相結合，能否進一步提升神經網路推理的性能？

將 LUTMUL 方法與其他 FPGA 優化技術相結合，可以進一步提升神經網路推理的性能。

流水線： 可以將神經網路的不同層或同一層的不同運算映射到 FPGA 的不同流水線級，從而實現并行處理，提高吞吐量。
并行處理： 可以將輸入數據劃分為多個部分，并行地在 FPGA 的多個處理單元上進行處理，最後將結果合併，從而提高計算速度。
數據复用： 可以通過合理設計數據通路和緩存策略，減少數據的讀取和寫入次數，從而提高數據訪問效率。
通過結合這些優化技術，可以充分發揮 LUTMUL 方法的優勢，最大限度地提高神經網路推理的性能。