核心概念
雖然大型語言模型展現出強大的能力,但其記憶訓練數據的傾向帶來了嚴重的隱私和安全風險,需要採取策略來減輕這些風險,同時平衡模型效能與隱私保護。
本綜論旨在探討大型語言模型(LLM)中記憶現象的相關議題,特別關注其對隱私和安全造成的風險,並探討如何減輕這些風險。
本綜論系統性地回顧了有關 LLM 記憶現象的文獻,從意圖性、嚴重程度、可提取性、抽象程度和透明度等五個關鍵面向探討了記憶現象。此外,還探討了用於衡量記憶現象的指標和方法,分析了導致記憶現象的因素,並探討了記憶現象在特定模型架構中的表現形式,以及減輕這些影響的策略。