本研究では、Llama 2という最先端の大規模言語モデルのインファレンスをFPGAで高水準合成(HLS)を用いて高速化かつエネルギー効率化する手法「HLSTransform」を提案した。
具体的には以下の成果を得た:
本研究成果は、トランスフォーマーモデルのFPGAによるエネルギー効率的なインファレンスの実現に向けた重要な一歩となる。また、HLSツールの活用によりFPGAの利用が容易になり、トランスフォーマーモデルの省エネ推論の研究が促進されることが期待される。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Andy He,Darr... alle arxiv.org 05-03-2024
https://arxiv.org/pdf/2405.00738.pdfDomande più approfondite