大型語言模型中影響函數的效用

影響函數在大型語言模型中表現不佳,其原因包括:1)計算逆Hessian矩陣乘積時的不可避免的近似誤差;2)微調過程中收斂狀態的不確定性;3)影響函數本身的定義,即參數變化並不能準確反映模型行為的變化。