讓注意力機制更具表達力：賦予負權重的 Cog Attention 機制

Core Concepts

本文提出了一種名為 Cog Attention 的新型注意力機制，透過賦予注意力權重負值來增強模型的表達能力，並探討其背後的機制和應用。

Abstract

本文介紹了一種新穎的注意力機制，稱為 Cog Attention，它允許注意力權重為負值，從而增強模型的表達能力。與傳統的 softmax 注意力機制不同，Cog Attention 能夠更靈活地處理上下文資訊，並減輕表徵崩潰的問題。
機制解釋
Cog Attention 的優勢源於兩個關鍵因素：

功能轉移: Cog Attention 將刪除和複製詞彙的功能從靜態的 OV 矩陣轉移到動態的 QK 內積，使 OV 矩陣能夠更專注於資訊的精煉或修改。透過賦予詞彙負值、正值或接近零的注意力權重，注意力頭可以同時執行刪除、複製或保留詞彙的操作，從而使單個注意力頭變得更加靈活和具有表達力。
減輕表徵崩潰: Cog Attention 提高了模型對表徵崩潰的魯棒性。表徵崩潰是指在深度 Transformer 模型中，序列後期位置的表徵變得同質化的現象。負權重減少了從早期詞彙到後期詞彙的有效資訊路徑，從而減輕了過度壓縮，進而緩解了表徵崩潰問題。

實驗結果
作者將 Cog Attention 應用於語言模型和圖像生成任務中，並取得了比傳統 softmax 注意力機制更好的性能。

語言模型: 在 RedPajama 資料集上訓練的解碼器 Cogformer 語言模型在多項語言理解任務中，包括 ARC、PIQA、SST-2、MNLI、MRPC、QQP 和 RTE，都取得了比相同規模的 Transformer 模型更高的準確率。
圖像生成: 使用 Cog Attention 的 U-ViT 擴散模型 (U-ViC) 在 CIFAR-10 資料集上的無條件圖像生成和 MS-COCO 資料集上的文本到圖像生成任務中，都取得了比使用 softmax 注意力的 U-ViT 模型更低的 FID 分數，表明其生成圖像的品質更高。
討論

收斂性: 作者發現，在深度 Cogformer 模型中，保留第一層和最後一層的 softmax 注意力有助於維持與傳統 Transformer 模型相同的收斂速度。
注意力模式: Cog Attention 比 softmax 注意力產生更多樣化的注意力模式，並減少了注意力匯聚現象，這可能有助於提高模型的泛化能力和上下文感知能力。
時間成本: 由於額外的絕對值運算和乘法運算，Cogformer 的訓練時間成本略高於 Transformer。
總結
Cog Attention 是一種新穎且有效的注意力機制，它透過引入負權重來增強模型的表達能力。實驗結果表明，Cog Attention 在語言模型和圖像生成任務中都能夠提高模型的性能。

Stats

Cogformer 語言模型包含 1.41 億個參數，並在包含 1000 億個詞彙的 RedPajama 資料集上進行訓練。
U-ViC 和 U-ViT 模型都包含 4400 萬個參數，並分別在 CIFAR-10 和 MS-COCO 資料集上進行訓練。

Key Insights Distilled From

More Expressive Attention with Negative Weights

by Ang Lv, Ruob... at arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.07176.pdf

Deeper Inquiries

Cog Attention 如何應用於其他需要處理長序列或複雜上下文資訊的自然語言處理任務，例如文件摘要或機器翻譯？

Cog Attention 的負權重賦予其處理長序列和複雜上下文資訊的潛力，使其在文件摘要和機器翻譯等任務中具有吸引力：
1. 文件摘要：

長文本建模： Cog Attention 能夠有效地捕捉長距離依賴關係，這對於理解長文件至關重要。它可以學習識別和強調對摘要至關重要的關鍵句子或短語，即使它們在文本中相距甚遠。
減少冗餘資訊： 負權重允許模型抑制不相關或冗餘的資訊，從而生成更簡潔、資訊更豐富的摘要。
多層次資訊提取： Cog Attention 可以堆疊多層，以學習不同粒度級別的文本表示，從而捕獲局部和全局上下文資訊，這對於生成準確且全面的摘要至關重要。
2. 機器翻譯：

增強語義對齊： Cog Attention 可以通過學習源語言和目標語言之間更精確的對應關係來提高翻譯質量。負權重可以幫助模型排除誤導性或不相關的對齊。
處理長句： 與文件摘要類似，Cog Attention 可以有效地處理長句，捕獲長距離依賴關係，並在翻譯過程中保留語義完整性。
改進詞序： Cog Attention 可以學習不同語言之間的詞序差異，並相應地調整翻譯輸出，從而生成更自然、更流暢的翻譯。
總之，Cog Attention 在處理長序列和複雜上下文資訊方面的能力使其成為文件摘要和機器翻譯等自然語言處理任務的潛在有價值的工具。

如果負權重在 Cog Attention 中的貢獻如此顯著，那麼完全移除 softmax 函數並允許所有注意力權重為負數是否可行？

雖然 Cog Attention 的負權重帶來了顯著的好處，但完全移除 softmax 函數並允許所有注意力權重為負數可能會導致一些問題，使其不可行：

訓練不穩定： 完全移除 softmax 函數可能會導致訓練不穩定。softmax 函數通過將注意力權重歸一化到 0 到 1 之間的概率分佈來確保訓練過程的穩定性。沒有這種歸一化，注意力權重可能會變得任意大，導致梯度爆炸或消失，阻礙模型的收斂。
缺乏稀疏性控制： softmax 函數促進了注意力權重的稀疏性，這意味著模型會集中註意力在少數幾個關鍵輸入上。完全移除 softmax 函數可能會導致注意力分佈過於分散，降低模型的效率和性能。
難以解釋： softmax 函數提供的概率解釋對於理解模型的決策過程非常有用。完全移除 softmax 函數會使注意力權重更難以解釋，難以分析模型的行為。
總之，雖然負權重在 Cog Attention 中起著重要作用，但完全移除 softmax 函數並允許所有注意力權重為負數可能會導致訓練不穩定、缺乏稀疏性控制和難以解釋等問題。

Cog Attention 的設計理念是否可以啟發其他機器學習領域的模型改進，例如圖神經網路或強化學習？

是的，Cog Attention 的設計理念可以啟發其他機器學習領域的模型改進，例如圖神經網路或強化學習：
1. 圖神經網路：

更具表現力的圖卷積： Cog Attention 可以用於設計更具表現力的圖卷積核。負權重可以讓模型學習節點之間的抑制作用，從而更好地捕捉圖中的複雜關係。
動態圖結構學習： Cog Attention 可以用於動態學習圖的結構。通過根據輸入數據調整注意力權重，模型可以學習識別和強調圖中最重要的連接。
2. 強化學習：

更有效的注意力機制： Cog Attention 可以用於設計更有效的注意力機制，用於處理強化學習中的長序列數據，例如智能體的經驗回放緩衝區。負權重可以幫助模型過濾掉不相關的經驗，並專注於最重要的信息。
基於注意力的策略學習： Cog Attention 可以用於基於注意力的策略學習，其中智能體可以學習關注環境中最相關的部分以做出決策。負權重可以幫助智能體避免分心，並專注於與任務相關的狀態特徵。
總之，Cog Attention 的設計理念，特別是其引入負權重的能力，為其他機器學習領域的模型改進提供了有價值的見解。