注意力機制

insight - 注意力機制

本文提出了一種名為「局部-全局注意力」的新型注意力機制，旨在通過結合多尺度卷積和位置編碼來平衡局部和全局特徵，從而更有效地整合局部細節和全局上下文信息，提高目標檢測的準確性。

本文提出了一種名為 SASE 的新型神經架構搜尋方法，專門用於自動設計基於壓縮與激勵範式的注意力模組，並通過在圖像分類、目標檢測和實例分割等任務上的實驗證明了其相較於現有手工設計模組的優越性能。

本文提出了一種新穎的空間和通道協同注意力模組 (SCSA)，旨在利用空間注意力引導通道注意力學習，並通過漸進式壓縮和通道自注意力機制來減輕多語義差異，從而提升模型在各種視覺任務中的特徵提取能力。

本文提出了一種名為 Cog Attention 的新型注意力機制，透過賦予注意力權重負值來增強模型的表達能力，並探討其背後的機制和應用。

本文提出了一種稱為「橢圓注意力」的新型注意力機制，透過計算馬氏距離來衡量特徵空間中各個維度的重要性，並據此調整注意力權重，從而提升模型的表現和穩健性。

本文提出了一種基於黏著斷裂過程的注意力機制（Stick-Breaking Attention），並探討其作為傳統 Transformer 模型中 Softmax 注意力機制的替代方案。

傳統 Transformer 中的注意力機制存在秩崩潰和梯度消失問題，而廣義概率注意力機制 (GPAM)，尤其其雙重注意力機制 (daGPAM) 的實現，通過允許負注意力分數和維持固定總和，有效緩解了這兩個問題，並在語言建模和神經機器翻譯等任務中展現出性能提升。

About

Products

Resources