GPT加速器PIM-GPT:一种用于自回归式Transformer的混合内存内处理加速器

Core Concepts

PIM-GPT是一种混合硬件系统,通过在DRAM芯片上集成乘法-累加运算单元来加速GPT模型的向量-矩阵乘法运算,并利用专用集成电路(ASIC)来执行其他非线性函数和数据通信,从而实现端到端的GPT推理加速。

Abstract

本文提出了PIM-GPT,一种用于加速自回归式Transformer模型(如GPT)推理的混合硬件系统。PIM-GPT由DRAM芯片和专用ASIC芯片组成。 DRAM芯片上集成了乘法-累加运算单元,用于执行向量-矩阵乘法(VMM)运算,这是GPT模型中最耗时的操作。ASIC芯片则负责执行其他非线性函数计算和数据通信等任务。 为了充分利用PIM芯片的计算能力,PIM-GPT采用了以下优化策略: 将注意力头矩阵和前馈网络权重矩阵进行拼接和分块,以充分利用DRAM行的数据局部性,并实现跨通道和银行的并行计算。 为中间结果Key和Value矩阵预留DRAM空间,以减少数据传输开销。 采用流水线设计,在ASIC执行部分计算的同时,PIM芯片可以继续执行VMM运算。 通过上述优化,PIM-GPT在8个GPT模型上实现了41-137倍的GPU加速和631-1074倍的CPU加速,同时能够获得123-383倍和320-602倍的GPU和CPU的能效提升。与之前的Transformer加速器相比,PIM-GPT提供了更出色的端到端加速性能。

Stats

GPT2-small模型的注意力头宽度为64,而DRAM银行行可以存储1024个16位数据。 GPT3-small模型的VMM运算占总执行时间的98.84%,其他算术运算仅占1.16%。 PIM-GPT相比GPU,在DRAM I/O能耗方面可以实现78-184倍的降低。

Quotes

"PIM-GPT是一种混合硬件系统,通过在DRAM芯片上集成乘法-累加运算单元来加速GPT模型的向量-矩阵乘法运算,并利用专用集成电路(ASIC)来执行其他非线性函数和数据通信,从而实现端到端的GPT推理加速。" "为了充分利用PIM芯片的计算能力,PIM-GPT采用了以下优化策略:1) 将注意力头矩阵和前馈网络权重矩阵进行拼接和分块,以充分利用DRAM行的数据局部性,并实现跨通道和银行的并行计算;2) 为中间结果Key和Value矩阵预留DRAM空间,以减少数据传输开销;3) 采用流水线设计,在ASIC执行部分计算的同时,PIM芯片可以继续执行VMM运算。"

Key Insights Distilled From

PIM-GPT: A Hybrid Process-in-Memory Accelerator for Autoregressive Transformers

by Yuting Wu,Zi... at arxiv.org 04-16-2024

https://arxiv.org/pdf/2310.09385.pdf

Deeper Inquiries

PIM-GPT的设计如何进一步扩展到更大规模的Transformer模型

PIM-GPTの設計は、より大規模なTransformerモデルに拡張するためにいくつかの方法で改善できます。まず、PIMチップの数を増やすことで、より多くの計算リソースを提供し、並列処理能力を向上させることが考えられます。さらに、ASICの機能を拡張して、より多くの演算をオンチップで処理できるようにすることも重要です。また、モデルのマッピングスキームを最適化し、データの局所性と計算並列性を最大化することで、大規模なTransformerモデルにおける性能を向上させることができます。さらに、DRAMの容量や帯域幅を増やすことで、より大規模なモデルに対応できるようにすることも考えられます。

如何在保持高性能的同时,进一步优化PIM-GPT的能耗

PIM-GPTの能耗をさらに最適化するためには、いくつかのアプローチが考えられます。まず、ASICの周波数を調整して、性能とエネルギー効率のバランスを調整することが重要です。低い周波数で動作させることで、エネルギー消費を削減できますが、性能に影響を与える可能性があります。また、ASICの設計をさらに最適化して、演算処理の効率を向上させることも重要です。さらに、データの移動を最小限に抑えるために、データの局所性を最大化するマッピングスキームをさらに改善することも効果的です。

PIM-GPT的设计思路是否可以应用于加速其他类型的神经网络模型

PIM-GPTの設計思想は、他のタイプのニューラルネットワークモデルの加速にも適用できます。例えば、畳み込みニューラルネットワーク（CNN）やリカレントニューラルネットワーク（RNN）など、他の種類のモデルにも同様のPIMアーキテクチャを適用することで、メモリに依存するタスクの高速化が可能です。PIM-GPTのデザイン思想は、データの局所性と計算並列性を最大化することに焦点を当てており、これは他のニューラルネットワークモデルにも適用可能な有効な手法です。新しいモデルに適用する際には、モデルの特性に合わせてマッピングスキームやワークロード分散を最適化することが重要です。