GPT加速器PIM-GPT:一种用于自回归式Transformer的混合内存内处理加速器

PIM-GPT是一种混合硬件系统,通过在DRAM芯片上集成乘法-累加运算单元来加速GPT模型的向量-矩阵乘法运算,并利用专用集成电路(ASIC)来执行其他非线性函数和数据通信,从而实现端到端的GPT推理加速。