透過高效可靠的蒸餾技術訓練可靠的大型語言模型：FIRST

Główne pojęcia

文章提出了一種名為 FIRST（高效可靠蒸餾）的新方法，旨在透過「知識濃縮」和「可靠性最大化」策略，將大型語言模型的知識高效地轉移到較小的模型中，從而解決微調過程中產生的校準問題，並提高模型的可靠性。

Streszczenie

論文資訊

作者：Kashun Shum, Minrui Xu, Jianshu Zhang 等
機構：香港科技大學、武漢大學、NVIDIA、普渡大學
發表日期：2024年10月2日
研究背景
大型語言模型（LLM）在各種下游任務中展現出強大的能力，但同時也存在著校準問題，即模型預測的置信度與其真實準確性之間存在差距。現有的微調方法雖然可以提高模型在下游任務上的準確性，但會加劇校準問題。雖然基於蒸餾的方法可以透過匹配機率分佈來緩解校準問題，但由於教師模型本身也存在校準問題，因此效果有限。此外，蒸餾方法還面臨著如何平衡知識轉移量與效率的挑戰。
研究目標
為了獲得可靠且高效的LLM，本研究提出了一種名為FIRST（高效可靠蒸餾）的新方法，旨在利用教師模型中一小部分的知識來訓練可靠的學生模型。
研究方法
FIRST方法主要包含三個步驟：

高效的知識選擇（Efficient Knowledge Selection）: 基於對LLM「知識濃縮」現象的觀察，FIRST選擇教師模型中機率最高的5個詞彙及其對應的機率作為知識進行轉移，以在知識完整性和計算效率之間取得平衡。
知識可靠性最大化（Knowledge Trustworthy Maximization）: 為了消除教師模型中由於微調而產生的校準問題，FIRST採用「溫度縮放」技術對教師模型的機率分佈進行重新校準，以確保學生模型能夠學習到更可靠的知識。
知識匹配（Knowledge Matching）: 在獲得重新校準的機率分佈後，FIRST使用 Kullback–Leibler 散度來衡量教師模型和學生模型之間的差異，並以此作為損失函數來訓練學生模型。

實驗結果
實驗結果表明，與標準微調和直接蒸餾方法相比，FIRST方法在多個基準測試中均取得了更高的準確性和更低的校準誤差，證明了其在提高模型可靠性方面的有效性。
研究結論
FIRST方法透過高效可靠的蒸餾技術，成功地將大型語言模型的知識轉移到較小的模型中，並有效地解決了微調過程中產生的校準問題，為訓練可靠且高效的LLM提供了一種新的思路。

Statystyki

Top-5 tokens 的累積機率覆蓋率超過 95%。
使用 Top-5 tokens 可以將所需的儲存空間從 120 TB 減少到 1.2 GB。
在 BoolQ 數據集中，FIRST7B w/ TS 的 ECE 值顯著低於 Distill7B w/ LS。
在 CSQA 數據集中，Fine-tune7B 模型的 ECE 值高達 21.6%，而其準確性僅為 28.3%。

Kluczowe wnioski z

FIRST: Teach A Reliable Large Language Model Through Efficient Trustworthy Distillation

by KaShun Shum,... o arxiv.org 10-04-2024

https://arxiv.org/pdf/2408.12168.pdf

Głębsze pytania

除了知識蒸餾，還有哪些方法可以有效地解決大型語言模型的校準問題？

除了知識蒸餾，還有其他方法可以有效地解決大型語言模型的校準問題，這些方法可以大致分為以下幾類：

後處理校準 (Post-hoc Calibration): 這類方法在模型訓練完成後，通過對模型的預測結果進行調整來改善校準。常見的方法包括：

溫度縮放 (Temperature Scaling): 如同 FIRST 方法中所述，通過調整 softmax 函數中的溫度參數，可以有效地調整模型的預測概率分佈，從而改善校準。
Platt 縮放 (Platt Scaling): 使用 sigmoid 函數對模型的預測結果進行縮放，將其映射到概率空間。
等寬分箱 (Isotonic Regression): 使用非參數方法學習一個單調遞增的函數，將模型的預測結果映射到更準確的概率值。

修改訓練目標 (Modifying Training Objectives): 這類方法通過修改模型訓練時的損失函數，鼓勵模型學習更準確的概率分佈。常見的方法包括：

標籤平滑 (Label Smoothing): FIRST 方法中提到了標籤平滑的局限性，但它在某些情況下仍然可以作為一種有效的校準方法。
Focal Loss: 對於樣本不平衡的情況，Focal Loss 可以降低容易分類樣本的權重，讓模型更關注難以分類的樣本，從而學習更準確的概率分佈。

貝氏深度學習 (Bayesian Deep Learning): 貝氏深度學習通過對模型參數進行概率建模，可以估計模型預測的不確定性，從而提供更可靠的校準。
需要注意的是，不同的方法適用於不同的場景，並且可能需要根據具體任務和數據集進行調整。

如果將 FIRST 方法應用於其他自然語言處理任務，例如機器翻譯或文本摘要，是否也能夠取得良好的效果？

FIRST 方法的核心思想是利用「集中知識」現象和「信任最大化」策略，從教師模型中高效地提取最有效的知識，並将其傳遞給學生模型，從而提高學生模型的準確性和校準能力。
雖然 FIRST 方法在問答任務上取得了顯著的效果，但将其應用於其他自然語言處理任務（如機器翻譯或文本摘要）的效果還需要進一步驗證。

機器翻譯: 機器翻譯任務的目標是將一種語言的文本翻譯成另一種語言的文本。在這個任務中，模型需要學習兩種語言之間的複雜映射關係。FIRST 方法的「集中知識」現象可能仍然適用於機器翻譯，因為在翻譯過程中，某些詞彙或短語的翻譯概率會明顯高於其他詞彙或短語。然而，「信任最大化」策略可能需要根據機器翻譯任務的特點進行調整。
文本摘要: 文本摘要任務的目標是從一篇長文本中提取出最重要的信息，生成一篇簡短的摘要。在這個任務中，模型需要學習如何識別和提取關鍵信息。FIRST 方法的「集中知識」現象可能不太適用於文本摘要，因為一篇文本的關鍵信息可能分佈在不同的句子或段落中。
總之，FIRST 方法的核心理念具有普適性，但将其應用於其他自然語言處理任務時，需要根據具體任務的特點進行調整和驗證。

如何在保證模型可靠性的同時，進一步提高知識蒸餾的效率，例如探索更優的知識選擇策略或更輕量級的模型架構？

在保證模型可靠性的同時，可以通過以下方式進一步提高知識蒸餾的效率：
1. 更優的知識選擇策略:

動態知識選擇: FIRST 方法使用了固定的 Top-5 token 概率作為知識，可以探索根據不同 token 的重要性或預測難度，動態地選擇更具代表性的知識進行蒸餾。
多層知識蒸餾: 目前的 FIRST 方法主要關注輸出層的知識蒸餾，可以探索從教師模型的中間層提取更豐富的知識，例如注意力分佈、隱藏狀態等，進行多層次的知識蒸餾。
基於強化學習的知識選擇: 可以利用強化學習方法，自動地學習選擇最有效的知識進行蒸餾，例如將知識選擇視為一個序列決策問題，通過最大化學生模型的性能來學習最優的知識選擇策略。
2. 更輕量級的模型架構:

模型壓縮: 可以利用模型壓縮技術，例如剪枝、量化、知識蒸餾等，在保證模型性能的前提下，降低模型的計算量和存儲空間佔用。
模型結構搜索: 可以利用神經網絡結構搜索 (NAS) 技術，自動地搜索更輕量級的學生模型架構，使其在計算資源受限的情況下也能夠達到較高的性能。
3. 其他方向:

高效的蒸餾方法: 可以探索更高效的蒸餾方法，例如在訓練過程中逐步增加學生模型的規模，或者使用更輕量級的損失函數。
數據增強: 可以利用數據增強技術，例如同義詞替換、回譯等，擴充訓練數據集，提高學生模型的泛化能力。
通過以上方法的結合，可以有效地提高知識蒸餾的效率，同時保證模型的可靠性。