透過基於梯度的離散優化挖掘大型語言模型中的異常 Token

GlitchMiner 是一種基於梯度的離散優化框架，用於有效偵測大型語言模型中的異常 Token，透過熵值為基礎的損失函數和局部搜索策略，GlitchMiner 能夠準確識別出偏離正常分佈的 Token，而無需依賴人工定義的先驗知識。