大型語言模型的參數高效微調

insight - 大型語言模型的參數高效微調

本研究提出了一種新的參數高效微調方法PEDRO,通過在每個Transformer層中集成一個輕量級的向量生成器,根據輸入提示生成調整向量,從而直接修改模型的內部表示,影響模型的語義輸出和生成內容。

本文提出了一種名為Bone的創新參數高效微調方法,它不僅可以減少內存開銷,還能強調權重之間的內部聯繫,從而實現更快的收斂和更好的數據擬合。

本文提出了一種名為Propulsion的新型參數高效微調方法,通過在預訓練模型的每一層引入少量可訓練的Propulsion參數,實現對模型輸出的精準控制,在保留預訓練特徵的同時,大幅提升模型在特定任務上的性能。

本文提出了一種新的參數高效微調(PEFT)方法SORSA,通過奇異值分解(SVD)將預訓練權重分解為主要和剩餘部分,並實現正交正則化來維持奇異向量的正交性,從而實現更有效的參數更新和更好的泛化性能。

About

Products

Resources