专栏链接: YOLOv10 创新改进有效涨点

先前的大量研究表明，注意力机制在提高深度卷积神经网络（CNN）的性能方面具有巨大潜力。然而，大多数现有方法要么忽略通道和空间维度的建模注意力，要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境，在本文中，我们提出了一种轻量级且高效的多维协作注意力（MCA），这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法，几乎没有额外的开销。对于MCA的基本组成部分，我们不仅开发了一种自适应组合机制，用于合并挤压变换中的双跨维度特征响应，增强特征描述符的信息性和可辨别性，而且还设计了激励变换中的门控机制，自适应地确定特征描述符的覆盖范围。交互来捕获局部特征交互，克服性能和计算开销权衡的悖论。我们的 MCA 简单而通用，可以作为即插即用模块轻松插入各种经典 CNN，并以端到端的方式与普通网络一起进行训练。 CIFAR 和 ImageNet-1K 数据集上图像识别的广泛实验结果证明了我们的方法相对于其他最先进 (SOTA) 方法的优越性。此外，我们还通过目视检查 GradCAM++ 可视化结果来深入了解 MCA 的实际优势。该代码可从 https://github.com/ndsclark/MCANet 获取。

论文地址：论文地址

论文下载：下载地址

代码地址：代码地址

MCA与现有方法在建模通道和空间维度的注意力方面的不同之处在于，MCA通过三个平行分支同时推断通道、高度和宽度维度的注意力，实现了多维度的协同注意力，而且几乎没有额外的计算负担。

MCA的关键组成部分包括挤压变换和激励变换。挤压变换通过自适应组合机制聚合平均池化和标准差池化的特征，引入输入特定的动态性，提高特征描述符的可区分性。激励变换设计了一种简单的策略，通过自适应确定交互覆盖范围来捕获局部特征交互，从而在性能和复杂性之间取得平衡。这些组件共同促进了网络的整体性能。

MCA通过三个平行分支构成，同时建模多个维度的注意力。在挤压变换中