降低成本：優化大型語言模型鍵值快取記憶體消耗方法綜述

Core Concepts

大型語言模型雖然功能強大，但其 Transformer 架構在處理長文本時效率低下，鍵值快取的引入雖然解決了效率問題，但卻帶來了記憶體開銷。本文綜述了各種優化大型語言模型鍵值快取記憶體使用的方法，涵蓋預訓練、部署和推理階段，並總結了這些方法的共性和差異，為構建更有效、高效和可持續的大型語言模型提供了見解。

Abstract

降低成本：優化大型語言模型鍵值快取記憶體消耗方法綜述

這篇研究論文旨在探討如何優化大型語言模型（LLM）中的鍵值快取記憶體使用，以提高模型在處理長文本時的效率和性能。

本文回顧並分析了現有的各種鍵值快取優化方法，將其分為預訓練階段、部署階段和後訓練階段進行討論，並比較了不同方法的核心思想、優缺點以及適用場景。
預訓練階段

多查詢注意力機制（MQA）：將鍵值對的頭數減少到一個，不同查詢頭共用同一個鍵頭，以減少記憶體佔用。
分組查詢注意力機制（GQA）：將查詢頭分組，每組共用一個鍵頭，在效率和性能之間取得更好的平衡。
跨層鍵值快取重用：在不同層之間共用鍵值快取，例如 CLA、YOCO 和 GoldFinch 等方法。
低秩壓縮：利用低秩矩陣分解等技術壓縮鍵值快取，例如多頭潛在注意力機制（MLA）。
上下文壓縮：使用額外的編碼器模組壓縮輸入文本，例如 CEPE 框架。
部署階段

分頁注意力機制：借鑒 CPU 記憶體管理中的分頁機制，將鍵值快取映射到不連續的 GPU 記憶體空間，減少記憶體碎片。
分散式部署：將鍵值快取分散式部署到多台伺服器上，例如 DistKV-LLM。
快取重用：在不同對話之間重用鍵值快取，例如 ChunkAttention。
異步載入：將大部分鍵值快取異步載入到 CPU，僅保留關鍵部分在 GPU 上，例如 FastGen。
異構計算：協同利用 CPU 和 GPU 進行計算，例如 FastDecode。
後訓練階段
淘汰和合併

靜態策略：基於預先定義的規則淘汰鍵值對，例如滑動窗口注意力機制。
動態策略：根據推理過程中產生的資訊動態淘汰鍵值對，例如基於注意力權重的淘汰方法（TOVA、H2 Eviction Algorithm、PyramidInfer 等）和基於其他指標的淘汰方法（Keyformer、FastGen、SparQ Attention 等）。
合併：將相似的鍵值對合併成一個，例如 DMC、KVMerger、Anchor-LLM 等方法。
量化

僅限鍵值快取的量化：僅對鍵值快取進行量化，例如 KVQuant、LESS、MiKV、QAQ 等方法。
模型整體量化：對模型權重和鍵值快取都進行量化，例如 FlexGen、WKVQuant 等方法。

Key Insights Distilled From

Keep the Cost Down: A Review on Methods to Optimize LLM' s KV-Cache Consumption

by Luohe Shi, H... at arxiv.org 11-21-2024

https://arxiv.org/pdf/2407.18003.pdf

Deeper Inquiries

隨著硬體技術的發展，未來是否會出現更高效的記憶體管理技術，從而徹底解決鍵值快取的記憶體瓶頸問題？

隨著硬體技術的不斷發展，出現更高效的記憶體管理技術，從而徹底解決鍵值快取的記憶體瓶頸問題，是非常有可能的。以下是一些可能的方向：

更高頻寬、更大容量的記憶體技術: 目前 GPU 記憶體頻寬相對於計算能力而言，是一個瓶頸。未來可能出現的新型記憶體技術，例如 HBM (High Bandwidth Memory) 的後續版本，或其他革命性的記憶體技術，能夠提供更高的頻寬和更大的容量，從而緩解甚至徹底解決 KV 快取的記憶體瓶頸。
更高效的記憶體訪問模式: 現有的 KV 快取管理技術，例如分頁注意力機制，已經在一定程度上優化了記憶體訪問模式。未來可以開發更精細、更智慧的記憶體訪問策略，例如預取、快取替換演算法等，最大限度地減少記憶體訪問延遲，提高記憶體使用效率。
異構計算架構: 將部分 KV 快取儲存在 CPU 或其他儲存介質上，並利用異構計算架構，例如 CPU+GPU 或 CPU+GPU+FPGA，可以更有效地利用不同硬體的特性，在保證計算速度的同時，降低對單一硬體的記憶體需求。
近似計算: 對於一些對精度要求不高的應用場景，可以採用近似計算技術，例如使用低精度資料類型儲存 KV 快取，或使用壓縮演算法減少 KV 快取的儲存空間，從而降低記憶體需求。
然而，硬體技術的發展也需要與軟體演算法的協同進化。未來需要開發與新型硬體架構相匹配的 LLM 模型架構和 KV 快取管理演算法，才能充分發揮硬體效能，徹底解決記憶體瓶頸問題。

如果完全放棄基於注意力機制的架構，是否可以開發出更高效的長文本處理模型？

完全放棄基於注意力機制的架構，的確有可能開發出更高效的長文本處理模型。以下是一些可能的研究方向：

基於遞迴神經網路 (RNN) 的模型: RNN 在處理序列資料方面具有天然優勢，可以通過隱藏狀態向量儲存歷史資訊。然而，傳統 RNN 容易出現梯度消失或爆炸問題，難以處理長距離依賴關係。可以探索新的 RNN 變種，例如長短期記憶網路 (LSTM) 或門控遞迴單元 (GRU)，以及更先進的梯度傳遞方法，來克服這些問題。
基於卷積神經網路 (CNN) 的模型: CNN 在處理圖像等空間資料方面表現出色，也可以應用於文本處理。通過使用不同大小的卷積核，CNN 可以捕捉不同粒度的文本特徵，並通過池化操作降低序列長度，提高計算效率。可以探索更深層次的 CNN 架構，以及與其他模型（例如 RNN）的結合，來提升長文本處理能力。
基於狀態空間模型的模型: 狀態空間模型提供了一種新的視角來理解序列資料，可以捕捉序列資料中的長期依賴關係。例如，最近的研究表明，線性狀態空間模型在某些任務上可以達到與 Transformer 相當的效能，並且具有更高的計算效率。
基於符號邏輯的模型: 與基於統計學習的神經網路模型不同，符號邏輯模型可以利用先驗知識和邏輯推理來處理文本。這類模型在處理長文本時，可以更有效地捕捉文本的語義結構，並進行更精確的推理。
需要注意的是，注意力機制目前在長文本處理方面取得了顯著的成功，完全放棄它可能會失去一些優勢。未來的研究應該探索如何結合不同模型的優點，開發出更高效、更強大的長文本處理模型。

如何在保證模型性能的前提下，最大限度地壓縮模型大小和降低計算成本，以促進大型語言模型在資源受限設備上的應用？

要在資源受限設備上應用大型語言模型，必須在保證模型性能的前提下，最大限度地壓縮模型大小和降低計算成本。以下是一些可行的方法：
模型壓縮：

量化: 將模型參數和激活值從高精度浮點數轉換為低精度整數，例如 INT8 或 INT4，可以顯著減少模型大小和計算量。例如， WKVQuant 和 QAQ 等方法已經成功地將 LLM 量化到低精度，同時保持了良好的性能。
剪枝: 移除模型中不重要的參數或連接，例如移除注意力頭、減少模型層數等，可以有效地壓縮模型大小。例如， MQA 和 GQA 等方法通過減少注意力頭的數量，成功地壓縮了 KV 快取的大小。
知識蒸餾: 使用一個大型教師模型來訓練一個小型學生模型，將大型模型的知識遷移到小型模型中，可以獲得性能接近大型模型的小型模型。
低秩分解: 將模型參數矩陣分解為多個低秩矩陣的乘積，可以減少模型參數數量，降低計算複雜度。例如，MLA 方法使用低秩分解來壓縮 KV 快取。
計算優化：

KV 快取優化: 使用更高效的 KV 快取管理策略，例如動態快取、快取分片等，可以減少記憶體佔用，提高計算效率。例如， TOVA、 H2 Eviction Algorithm 和 PyramidInfer 等方法都提出了不同的 KV 快取淘汰策略。
算子優化: 使用針對特定硬體平台優化的算子，例如針對 ARM 架構優化的算子，可以提高模型運算效率。
混合精度訓練: 在訓練過程中，使用不同精度的資料類型進行計算，例如使用 FP16 計算梯度，使用 FP32 更新參數，可以加快訓練速度，減少記憶體佔用。
其他方法：

模型選擇: 根據具體應用場景，選擇適合的預訓練模型，例如選擇參數量較小的模型，或選擇針對特定任務微調的模型。
雲端計算: 對於計算資源有限的設備，可以將模型部署在雲端伺服器上，通過網路請求遠端呼叫模型進行推理。
總之，壓縮模型大小和降低計算成本需要綜合考慮多種因素，並根據具體應用場景選擇合適的方案。相信隨著技術的進步，大型語言模型在資源受限設備上的應用將會越來越廣泛。