核心概念
本文提出了一種名為貝葉斯低秩自適應反向傳播(BLoB)的方法,能夠在微調大型語言模型的過程中,持續地聯合調整模型參數的均值和協方差,從而提高模型的泛化能力和不確定性估計能力。
摘要
本文提出了一種名為貝葉斯低秩自適應反向傳播(BLoB)的方法,用於微調大型語言模型(LLM)。BLoB的主要特點如下:
假設LLM參數的近似後驗分布具有低秩結構,可以在低秩空間中高效地優化全權重的KL散度。
在微調過程中,BLoB能夠持續地聯合調整參數的均值和協方差,而不是像現有的後訓練方法那樣將兩者分開處理。
BLoB利用Flipout技術提高了參數採樣的效率,從而加快了收斂速度。
實驗結果表明,BLoB在內部分佈和外部分佈數據集上均表現優異,在泛化能力和不確定性估計方面顯著優於現有方法。
統計資料
大型語言模型通常在微調到特定領域任務時會出現過度自信的問題。
現有的後訓練貝葉斯方法性能受限於訓練期間學習到的參數。
BLoB在微調過程中持續聯合調整參數的均值和協方差,能夠顯著提高模型的泛化能力和不確定性估計。
引述
"本文提出了一種名為貝葉斯低秩自適應反向傳播(BLoB)的方法,能夠在微調大型語言模型的過程中,持續地聯合調整模型參數的均值和協方差,從而提高模型的泛化能力和不確定性估計能力。"
"BLoB利用Flipout技術提高了參數採樣的效率,從而加快了收斂速度。"