大型語言模型在模型編輯中崩潰的原因及解決方案

大型語言模型在進行單次編輯時容易發生崩潰,主要原因是編輯過程中使用了不一致的關鍵詞向量,以及首個詞彙的表示分布異常。通過統一使用前綴關鍵詞並在測試時添加隨機前綴,可以有效防止模型崩潰,同時保持編輯的有效性。