SASE：一種用於搜尋壓縮與激勵操作的架構

Core Concepts

本文提出了一種名為 SASE 的新型神經架構搜尋方法，專門用於自動設計基於壓縮與激勵範式的注意力模組，並通過在圖像分類、目標檢測和實例分割等任務上的實驗證明了其相較於現有手工設計模組的優越性能。

Abstract

SASE：一種用於搜尋壓縮與激勵操作的架構

簡介

• 注意力機制在計算機視覺中至關重要，它模仿人類視覺系統在觀察場景時的聚焦方式，幫助模型更有效地處理信息，從而提高性能。
• 然而，設計注意力模組通常依賴專家經驗，需要多次實驗嘗試，這可能非常耗時費力。
• 本文提出 SASE，一種用於搜尋壓縮與激勵操作的架構，旨在通過神經架構搜尋 (NAS) 自動找到近乎最優的注意力模組。

相關工作

• 注意力機制：自 SE-Net 提出以來，許多注意力模組都遵循這種壓縮與激勵範式，例如 CBAM、SRM、MCA、GCT-Net、EAN、EPSA-Net 和 GSoP-Net 等。
• 神經架構搜尋：NAS 自動化了神經網絡的設計過程，避免了為獲得最佳架構而進行的大量實驗，例如基於強化學習、進化算法和可微分神經架構搜尋 (DNAS) 等方法。

SASE 方法

• SASE 將壓縮與激勵操作在通道和空間維度上分別在四個不同的集合中進行搜尋，每個集合都包含來自各種來源的操作，包括現有的注意力模組和新技術。
• SASE 构建了一个针对常用的压缩与激励范式定制的有向无环图 (DAG) 作为搜索起点，每条边对应于四个操作集之一，并应用二阶 DARTS 进行高效搜索。

實驗結果

• 在 CIFAR-10 上使用 ResNet-20 進行架構搜尋，並將搜尋到的注意力模組應用於 ResNet-50 和 ResNet-101 骨幹網絡，并在 ImageNet-1k 和 COCO 數據集上進行測試。
• 結果表明，使用 SASE 注意力模組的視覺骨幹網絡與使用當前最先進注意力模組的網絡相比，取得了最佳的整體性能。

結論

• SASE 是一種新穎的搜尋架構，專為壓縮與激勵風格的注意力機制量身定制。
• SASE 通過在不同維度上分離壓縮和激勵操作的功能集，並應用可微分搜尋，可以找到比現有算法更好的操作組合。
• SASE 在各種任務和骨幹網絡上都優於手工設計的注意力方法，顯示了該算法的有效性及其出 色的泛化能力。

Stats

SASE 在 ResNet-101 上的 ImageNet-1k 數據集圖像分類任務中，top-1 準確率比其他注意力模組提高了 0.55%。
SASE 在 ResNet-50 上的 COCO 數據集目標檢測任務中，mAP 值比其他注意力模組提高了 0.6% 到 0.9%。

Quotes

"To the best of our knowledge, SASE is the first attempt to subdivide the attention search space and search for architectures beyond currently known attention modules."
"Experimental results indicate that visual backbone networks (ResNet-50/101) using the SASE attention module achieved the best performance compared to those using the current state-of-the-art attention modules."

Key Insights Distilled From

SASE: A Searching Architecture for Squeeze and Excitation Operations

by Hanming Wang... at arxiv.org 11-14-2024

https://arxiv.org/pdf/2411.08333.pdf

Deeper Inquiries

SASE 的設計理念是否可以應用於其他類型的注意力機制，例如自注意力機制？

SASE 的核心設計理念是將注意力機制的 壓縮 和 激勵 操作分開，並針對不同維度（通道、空間）構建獨立的搜尋空間，從而尋找更優化的注意力模塊組合。這一理念 理論上可以應用於其他類型的注意力機制，例如自注意力機制。
以自注意力機制為例，其核心在于計算 Query、Key 和 Value 之间的注意力权重，并以此聚合全局信息。我们可以将 SASE 的設計理念融入其中：

壓縮階段: 可以針對 Query 和 Key 设计不同的壓縮操作集合，例如全局平均池化、最大池化、多层感知机等，分别提取不同方面的特征信息。
激勵階段: 可以设计不同的激勵操作集合，用于調整注意力权重的分布，例如缩放、平移、非线性变换等。

通过构建这样的搜尋空間，并利用神经架构搜索技术进行自动搜索，可以找到更适合特定任务的自注意力模块组合，从而提升模型性能。
然而，将 SASE 应用于自注意力机制也面临一些挑战：

計算複雜度: 自注意力机制本身的計算複雜度较高，引入 SASE 后可能会进一步增加搜索和训练的成本。
搜尋空間設計: 自注意力机制的输入通常是序列数据，如何设计合理的壓縮和激勵操作集合，以及如何处理序列信息，都需要仔细考虑。

总而言之，SASE 的設計理念为改进自注意力机制提供了一种新的思路，但实际应用中还需要克服一些挑战。

SASE 的搜尋過程是否會過度擬合特定的數據集或任務，如何提高其泛化能力？

如同其他神经架构搜索方法一样，SASE 的搜尋過程也存在过拟合特定数据集或任务的风险，导致搜索到的注意力模块在其他数据集或任务上表现不佳。为了提高 SASE 的泛化能力，可以采取以下措施：

擴大搜尋範圍: SASE 的搜尋空間目前主要包含一些常见的壓縮和激勵操作，可以考虑引入更多新颖的操作，例如可变形卷积、注意力机制的变体等，增加搜索的多样性。
正则化: 在搜尋過程中，可以引入正则化技术，例如 L1 或 L2 正则化，限制模型参数的规模，避免过度拟合训练数据。
多任务学习: 可以将 SASE 应用于多个相关任务，例如图像分类、目标检测、语义分割等，通过多任务学习的方式，促使搜索到的注意力模块具备更强的泛化能力。
跨数据集搜索: 可以使用多个数据集进行搜索，例如在 ImageNet 上搜索基础模块，然后在 COCO 数据集上进行微调，从而提高模型对不同数据分布的适应性。
早停法: 在验证集上监控模型性能，当性能不再提升时，及时停止搜索过程，避免过度拟合训练数据。

通过以上措施，可以有效降低 SASE 过拟合的风险，提高其泛化能力，使其在更广泛的计算机视觉任务中发挥作用。

如何將 SASE 與其他神經架構搜尋技術相結合，以構建更强大和高效的計算機視覺模型？

将 SASE 与其他神经架构搜索技术相结合，可以构建更加强大和高效的计算机视觉模型。以下是一些可行的思路：

与基于强化学习的 NAS 结合: 可以将 SASE 作为强化学习代理的動作空間，利用强化学习算法自动搜索最佳的注意力模块组合。代理可以通过观察模型在目标任务上的性能反馈，不断优化其搜索策略，最终找到性能优异的模型架构。
与基于进化算法的 NAS 结合: 可以将 SASE 的搜尋空間编码为基因，利用遗传算法、进化策略等进化算法进行搜索。通过模拟自然选择的过程，不断迭代优化模型架构，最终找到适应目标任务的最佳注意力模块组合。
与可微分 NAS 结合: 可以将 SASE 集成到可微分的 NAS 框架中，例如 DARTS，实现端到端的模型搜索。通过将 SASE 的搜尋空間参数化，并利用梯度下降算法进行优化，可以高效地搜索最佳的注意力模块组合。
与多目标 NAS 结合: 可以将 SASE 与多目标 NAS 结合，同时优化模型的性能、效率、可解释性等多个目标。例如，可以利用帕累托优化算法，在多个目标之间进行权衡，找到满足特定需求的最佳模型架构。

此外，还可以将 SASE 与其他模型压缩技术相结合，例如剪枝、量化等，进一步提升模型的效率。
总而言之，将 SASE 与其他神经架构搜索技术相结合，可以充分发挥各自的优势，构建更加强大和高效的计算机视觉模型，推动计算机视觉领域的发展。