從解碼到元生成：大型語言模型的推理時演算法

Główne pojęcia

這篇研究調查了提升大型語言模型(LLM)推理時效能的演算法，涵蓋了token層級生成演算法、元生成演算法以及提升生成效率的技術。

Streszczenie

這篇研究調查了用於提升大型語言模型 (LLM) 推理時效能的演算法，主要涵蓋三大主題：
一、token 層級生成演算法

這些演算法，通常也被稱為解碼演算法，透過一次取樣一個 token 或構建一個 token 層級的搜索空間並从中選取輸出結果。
這些方法通常需要訪問語言模型的內部資訊，例如 logits、next-token 分佈或機率分數。
常見的 token 層級生成演算法包括：

最大後驗機率 (MAP) 解碼演算法: 嘗試尋找最大化 pθ(y|x) 的生成結果 y，例如貪婪解碼和束搜索 (beam search)。
取樣演算法: 直接從語言模型的機率分佈 pθ(y|x) 中取樣，例如祖先取樣 (ancestral sampling)、溫度取樣 (temperature sampling)、top-k 取樣和 nucleus 取樣等。
token 層級取樣適配器: 調整每個 next-token 分佈，例如溫度取樣、top-k 取樣、nucleus 取樣等。
受控生成: 旨在從受序列級標準 c(y) 調製的語言模型分佈中取樣，例如使用分類器、指示器或獎勵函數來引導生成過程。
約束解碼: 強制生成結果滿足特定限制，例如使用基於解析器的解碼來滿足結構性約束，或使用詞彙約束解碼來強制輸出或不輸出特定詞彙。
二、元生成演算法

元生成演算法將 LLM 視為黑盒子，並在更大的生成程序中調用它。
元生成演算法可以透過進行多次模型調用、使用搜索演算法增強模型或整合外部數據源來增加用於生成的計算資源。
根據程式結構，元生成演算法可以分為：

鏈式元生成器: 將多個生成器鏈接在一起，例如將提示的語言模型鏈接起來以執行多步驟任務。
並行元生成器: 並行運行多個生成器，例如束搜索、最佳 N 個結果和拒絕取樣。
步驟級搜索演算法: 在每個生成步驟中執行搜索，例如使用強化學習或其他優化技術來選擇最佳的下一步操作。
優化演算法: 從初始生成結果開始，並迭代地對其進行改進，例如使用梯度下降或其他優化技術來最大化獎勵函數。
三、提升生成效率的技術

隨著模型規模的增長，快速生成變得越來越具有挑戰性，而成本成為多次調用模型的元生成演算法中的關鍵因素。
提升生成效率的技術包括：

優化 token 成本: 減少生成過程中使用的 token 數量，例如使用快取、壓縮和剪枝技術。
加速生成器: 使用模型並行化、量化和蒸餾技術來加速 token 層級生成過程。
加速元生成演算法: 使用並行化、快取和剪枝技術來加速元生成過程。

Statystyki

Kluczowe wnioski z

From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models

by Sean Welleck... o arxiv.org 11-21-2024

https://arxiv.org/pdf/2406.16838.pdf

Głębsze pytania

除了文中提到的三種方法，還有哪些其他方法可以提升大型語言模型的推理時效能？

除了文中提到的 token-level 生成演算法、meta-generation 演算法和高效生成技術，以下是一些其他可以提升大型語言模型推理時效能的方法：

模型壓縮與量化 (Model Compression and Quantization):

知識蒸餾 (Knowledge Distillation): 使用一個較小的模型（學生模型）來學習較大的模型（教師模型）的行為，從而減少模型大小和計算量。
模型剪枝 (Model Pruning): 移除模型中不重要的連接或神經元，以減少模型大小和計算量。
量化 (Quantization): 使用低精度數據類型來表示模型參數，例如將 32 位浮點數轉換為 16 位浮點數，從而減少模型大小和計算量。

快取與批次處理 (Caching and Batching):

快取 (Caching): 將常用的計算結果或中間結果儲存起來，以便在需要時快速提取，減少重複計算。
批次處理 (Batching): 將多個輸入序列組合成一個批次，並行處理以提高效率。

硬體加速 (Hardware Acceleration):

GPU 加速: 使用圖形處理器 (GPU) 來加速模型推理，因為 GPU 擅長並行計算。
專用硬體: 使用專為深度學習設計的硬體，例如 Google 的 TPU 或華為的昇騰，以進一步提高推理速度和效率。

非自回歸生成 (Non-autoregressive Generation): 與自回歸生成模型不同，非自回歸生成模型可以並行生成所有 token，從而顯著提高生成速度。

大型語言模型的推理時效能提升是否會犧牲生成結果的品質？

不一定。一些提升推理時效能的方法，例如模型壓縮與量化，可能會導致生成結果品質略有下降。這是因為這些方法通常會以犧牲模型的表達能力為代價來減少計算量。
然而，其他方法，例如快取與批次處理、硬體加速，則可以在不犧牲生成結果品質的情況下提升推理時效能。這些方法主要關注於優化計算過程，而不是改變模型本身。
此外，一些 meta-generation 演算法，例如使用多個模型或外部資訊，甚至可以在提升推理時效能的同時提高生成結果的品質。這是因為這些方法可以利用更多資源來探索更大的解空間，並找到更優的解決方案。
總之，提升大型語言模型推理時效能是否會犧牲生成結果的品質取決於所使用的方法。選擇合適的方法可以在提升效率的同時保持或甚至提高生成結果的品質。

如何評估不同推理時演算法對大型語言模型生成結果品質和效率的影響？

評估不同推理時演算法對大型語言模型生成結果品質和效率的影響需要綜合考慮多個指標：
效率指標:

延遲 (Latency): 衡量從輸入到生成結果所需的時間，通常以毫秒 (ms) 為單位。
吞吐量 (Throughput): 衡量單位時間內可以處理的請求數量，通常以每秒請求數 (RPS) 或每秒 token 數 (TPS) 為單位。
Token 成本 (Token Cost): 衡量生成結果所消耗的 token 數量，這與使用 API 的成本直接相關。
品質指標:

任務特定指標 (Task-specific Metrics): 根據具體任務選擇合適的指標，例如機器翻譯的 BLEU 分數、問答的準確率、摘要的 ROUGE 分數等。
語言品質指標 (Linguistic Quality Metrics): 衡量生成結果的流暢性、語法正確性、連貫性和多樣性，例如困惑度 (Perplexity)、重複率等。
人為評估 (Human Evaluation): 由人類評估者對生成結果的品質進行主觀評分，例如流暢性、相關性、資訊量等。
評估方法:

基準測試 (Benchmarking): 使用標準的基準測試集來比較不同演算法的效能，例如 GLUE、SuperGLUE 等。
消融實驗 (Ablation Study): 通過逐步移除或替換演算法中的某些組件，來分析每個組件對整體效能的影響。
案例分析 (Case Study): 選擇一些具有代表性的案例，詳細分析不同演算法在這些案例上的表現，以深入了解其優缺點。
在評估時，需要權衡效率和品質之間的關係。一些演算法可能在效率方面表現出色，但在品質方面有所犧牲；而另一些演算法則可能在品質方面表現出色，但在效率方面有所犧牲。選擇最優的演算法需要根據具體應用場景和需求進行權衡。