TurboRAG：利用預先計算的區塊文字 KV 快取加速檢索增強生成

Основные понятия

TurboRAG 通過預先計算和儲存文件區塊的 KV 快取，並在線上推理過程中直接檢索使用，從而顯著減少了 RAG 模型的推理延遲和計算開銷，同時保持了與標準 RAG 模型相當的效能。

Аннотация

研究目標
本研究旨在解決現有檢索增強生成 (RAG) 系統在處理長文檔時，由於需要重複計算檢索到的文檔區塊的關鍵值 (KV) 快取而導致的計算開銷大和推理延遲高的問題。
方法
為了解決上述問題，本研究提出了一種名為 TurboRAG 的新型 RAG 系統。TurboRAG 的核心思想是將傳統 RAG 系統中線上計算 KV 快取的過程轉移到線下進行。具體來說，TurboRAG 會預先計算並儲存每個文檔區塊的 KV 快取。在線上推理過程中，TurboRAG 會直接檢索並使用這些預先計算好的 KV 快取，從而避免了重複計算。
為了確保 TurboRAG 的效能，本研究還提出了一種新的注意力遮罩矩陣和位置 ID 編碼方案。該方案可以確保 TurboRAG 在使用預先計算的 KV 快取時，仍然能夠保持與標準 RAG 系統相當的準確性。
主要發現
實驗結果表明，TurboRAG 在多文檔問答任務上的推理延遲顯著低於標準 RAG 系統，最高可達 9.4 倍，平均加速 8.6 倍。同時，TurboRAG 的準確性與標準 RAG 系統相當。
主要結論
TurboRAG 是一種有效的 RAG 系統優化方案，可以顯著提高 RAG 系統的推理速度，同時保持較高的準確性。
意義
TurboRAG 的提出為 RAG 系統的實際應用帶來了新的可能性，尤其是在對延遲要求較高的場景下，例如線上問答系統和聊天機器人等。
局限性和未來研究方向
本研究主要關注於 TurboRAG 在多文檔問答任務上的效能表現。未來可以進一步研究 TurboRAG 在其他 RAG 任務上的表現，例如摘要生成和機器翻譯等。此外，還可以進一步優化 TurboRAG 的 KV 快取儲存和檢索策略，以進一步提高其效率。

Статистика

TurboRAG 在多文檔問答任務上的推理延遲最高可達 9.4 倍，平均加速 8.6 倍。
TurboRAG 能够将计算资源利用率降低 98.46%。

Ключевые выводы из

TurboRAG: Accelerating Retrieval-Augmented Generation with Precomputed KV Caches for Chunked Text

by Songshuo Lu,... в arxiv.org 10-11-2024

https://arxiv.org/pdf/2410.07590.pdf

Дополнительные вопросы

TurboRAG 如何應用於其他自然語言處理任務，例如文本摘要或機器翻譯？

TurboRAG 的核心概念是預先計算並儲存文本區塊的關鍵值（KV）快取，以加速線上推論。這個概念可以應用於其他需要處理長序列數據的自然語言處理任務，例如文本摘要和機器翻譯：
文本摘要：

預先計算 KV 快取： 將長文本分割成多個區塊，並使用預先訓練好的語言模型（例如 BERT）為每個區塊計算 KV 快取並儲存。
線上摘要生成：

輸入需要摘要的文本，並使用相同的語言模型計算其嵌入向量。
根據嵌入向量检索最相關的文本區塊和其對應的 KV 快取。
使用检索到的 KV 快取和輸入文本，讓語言模型生成摘要。

機器翻譯：

預先計算 KV 快取： 將源語言的句子分割成區塊，並使用預先訓練好的翻譯模型為每個區塊計算 KV 快取並儲存。
線上翻譯：

輸入需要翻譯的源語言句子，並使用相同的翻譯模型計算其嵌入向量。
根據嵌入向量检索最相關的源語言區塊和其對應的 KV 快取。
使用检索到的 KV 快取和輸入句子，讓翻譯模型生成目標語言的翻譯結果。

需要注意的是，TurboRAG 在應用於其他任務時，可能需要根據具體任務進行調整和優化，例如：

任務特定的微調： 使用特定任務的數據對預先訓練好的語言模型進行微調，以提高模型在該任務上的效能。
不同的區塊分割方法： 根據任務需求，選擇合適的文本區塊分割方法，例如按照句子、段落或語義單元進行分割。

如果跨區塊注意力機制對於模型效能至關重要，那麼 TurboRAG 如何在不使用該機制的情況下保持其效能？

TurboRAG 的設計理念是基於一個觀察：在許多情況下，跨區塊的注意力並不總是必要的。文章中指出，不同文本區塊之間的資訊通常是相對獨立的，因此模型可以通過關注每個區塊的內部資訊來獲得足夠的上下文資訊，而不需要過度依賴跨區塊的注意力。
TurboRAG 通过以下方式在不使用跨區塊注意力機制的情況下保持其效能：

獨立的注意力矩陣： TurboRAG 使用獨立的注意力矩陣來限制每個區塊只能關注自身內部的資訊，避免了跨區塊的注意力計算。
位置編碼的調整： TurboRAG 重新調整了每個區塊內部 token 的位置編碼，確保了即使在沒有跨區塊注意力的情况下，模型仍然可以準確地理解 token 之間的相對位置關係。
任務特定的微調： TurboRAG 使用包含獨立注意力矩陣和調整後位置編碼的數據對模型進行微調，使得模型能够適應這種新的注意力機制，並在沒有跨區塊注意力的情況下保持其效能。
然而，需要注意的是，對於某些高度依賴於跨區塊資訊的任务，例如需要整合多個區塊資訊才能得出答案的問答系統，TurboRAG 的效能可能會受到一定程度的影響。

TurboRAG 的設計理念是否可以應用於其他需要處理長序列數據的深度學習模型？

是的，TurboRAG 的設計理念可以應用於其他需要處理長序列數據的深度學習模型，例如：

時間序列分析： 可以將長的時間序列數據分割成多個時間窗口，並預先計算每個窗口的 KV 快取，以加速線上預測。
語音辨識： 可以將長的語音信號分割成多個片段，並預先計算每個片段的 KV 快取，以加速線上語音辨識。
圖像生成： 可以將高解析度的圖像分割成多個區塊，並預先計算每個區塊的 KV 快取，以加速線上圖像生成。
總之，TurboRAG 的核心思想是通過預先計算和儲存中間結果來減少線上計算量，從而提高模型的推論速度。這種思想可以應用於各種需要處理長序列數據的深度學習模型，並且在保持模型效能的同時，顯著提升模型的效率。