大型語言模型在模型編輯中崩潰的原因及解決方案

核心概念

大型語言模型在進行單次編輯時容易發生崩潰,主要原因是編輯過程中使用了不一致的關鍵詞向量,以及首個詞彙的表示分布異常。通過統一使用前綴關鍵詞並在測試時添加隨機前綴,可以有效防止模型崩潰,同時保持編輯的有效性。

要約

本文深入分析了大型語言模型在使用ROME (Rank-One Model Editing)進行編輯時容易發生崩潰的根本原因。通過對比崩潰案例和正常案例的參數更新過程,發現崩潰直接源於更新矩陣中分母值異常小。這是由於ROME的實現中使用了不一致的關鍵詞向量所致:一種是在分母中使用未加前綴的原始關鍵詞,另一種是在其他位置使用加前綴的平均關鍵詞。

進一步分析發現,在崩潰案例中,未加前綴的關鍵詞分布與加前綴的關鍵詞分布存在顯著差異,導致了分母值極小。這種差異主要源於首個詞彙的表示分布異常,在自回歸型語言模型中,首個詞彙的表示往往與後續詞彙存在較大差異。

為了解決這一問題,本文提出了一種簡單有效的方法:在編輯階段統一使用加前綴的關鍵詞,在測試階段為首個詞彙添加隨機前綴,以確保訓練和測試的一致性。實驗結果表明,該方法可以有效防止模型崩潰,同時保持編輯的有效性。

統計

在崩潰案例中,更新矩陣的分子平均範數為GPT-2-XL 168.55、GPT-J 140.27、Llama2-7b 4.57。
在正常案例中,更新矩陣的分子平均範數為GPT-2-XL 79.91、GPT-J 88.69、Llama2-7b 16.52。
在崩潰案例中,更新矩陣的分母平均絕對值為GPT-2-XL 0.04、GPT-J 0.04、Llama2-7b 0.01。
在正常案例中,更新矩陣的分母平均絕對值為GPT-2-XL 9.60、GPT-J 12.78、Llama2-7b 2.63。

引用

"在崩潰案例中,更新矩陣的分母值異常小,直接導致了模型的崩潰。"
"在崩潰案例中,未加前綴的關鍵詞分布與加前綴的關鍵詞分布存在顯著差異,這是造成分母值極小的根本原因。"
"首個詞彙的表示分布異常是導致崩潰的關鍵因素之一,這種現象在自回歸型語言模型中較為普遍。"

抽出されたキーインサイト

Understanding the Collapse of LLMs in Model Editing

by Wanli Yang, ... 場所 arxiv.org 10-01-2024

https://arxiv.org/pdf/2406.11263.pdf

深掘り質問

除了首個詞彙的表示分布異常,是否還有其他因素導致了大型語言模型在編輯過程中的崩潰?

除了首個詞彙的表示分布異常外，還有其他兩個主要因素導致大型語言模型（LLMs）在編輯過程中的崩潰。首先，編輯過程中鍵向量的不一致實現是造成崩潰的關鍵因素之一。在 ROME 方法中，更新矩陣的計算涉及到兩種不同的鍵：一種是帶有前綴的鍵（prefixed key），另一種是未帶前綴的鍵（unprefixed key）。這種不一致的鍵使用導致了更新矩陣中的分母異常小，從而引發了模型的崩潰。其次，崩潰案例中，未帶前綴的鍵的分布與帶前綴的鍵的分布存在顯著差異，這進一步加劇了模型崩潰的風險。因此，這些因素共同作用，導致了大型語言模型在編輯過程中的不穩定性和崩潰現象。

如何設計更加穩健的編輯方法,在確保編輯有效性的同時,也能夠避免模型崩潰的問題?

為了設計更加穩健的編輯方法，研究者可以採用統一鍵的策略，即在編輯過程中始終使用帶前綴的鍵，並在測試階段也使用帶前綴的鍵。這樣可以確保編輯過程中的一致性，從而避免因鍵的不同而導致的模型崩潰。此外，在測試階段，對於首個詞彙的情況，可以隨機添加前綴文本，以確保模型在編輯後的有效性和穩定性。這種方法不僅能夠防止模型崩潰，還能保持編輯的有效性，從而提高模型的整體性能。實驗結果顯示，這種方法在多個大型語言模型上均能有效防止崩潰，同時保持編輯的成功率。

首個詞彙表示分布異常的根本原因是什麼?這種現象是否也存在於其他類型的語言模型中?

首個詞彙表示分布異常的根本原因主要與自回歸模型的特性有關。在自回歸模型中，首個詞彙無法與其他詞彙進行交互，這導致其表示在模型的中間層中變得異常集中。這種現象在 GPT-2-XL 和 GPT-J 等自回歸模型中尤為明顯，而在其他類型的模型，如 T5-3B 的編碼器中，因為其具有雙向注意力機制，首個詞彙的表示分布則與後續詞彙相似，並不會出現異常。因此，這種首個詞彙表示分布異常的現象主要存在於自回歸語言模型中，而在其他類型的模型中則不太明顯。這表明，模型架構的設計對於詞彙表示的分布特性有著重要影響。