之前写过两篇YOLOv5+各种注意力机制的文章，收到了大家很多的反馈，这篇博文就简单针对这些问题讨论一下：

首先说一下我本人在刚接触注意力时也搞不懂为什么精度不升反降，明明人家论文里都证实了显著涨点的，到我这咋就不行了呢？

所以我做了大量的实验，数据集也用了好几个，我尝试了很多种加法，拿YOLOv5s举例，我刚开始尝试在SPPF上一层添加单层的注意力，但是实验结果几乎都不尽如人意，随后我尝试了在主干的4个C3模块后都添加注意力，很多都取得了很好的效果（大多数都是精确度上升，召回率下降，mAP下降），然后我又尝试在C3模块里融合注意力模块，有的也取得了很好的效果，还有在Neck部分加等等加法。

一个模型精度是否提高会受到很多因素影响，需要考虑的因素包括模型的参数量、训练策略、用到的超参数、网络架构设计、硬件以及软件使用、pytorch版本等等

虽然大家都认为神经网络是一个黑盒子，但是我觉得有些地方还是可以用理论知识解释一下的，在看了很多大佬文章后发现，他们主要是从两个方面解释这个问题：

大部分注意力模块是有参数的，添加注意力模块会导致模型的复杂度增加。

如果添加attention前模型处于欠拟合状态，那么增加参数是有利于模型学习的，性能会提高。

如果添加attention前模型处于过拟合状态，那么增加参数可能加剧过拟合问题，性能可能保持不变或者下降。

知乎大佬pprp就为了验证以上猜想做个实验，他使用cifar10数据集中10%的数据进行验证，模型方面选择的是wideresnet，该模型可以通过调整模型的宽度来灵活调整模型的容量。

具体来说，从上到下模型容量越来越高，下图展示了各个模型在训练集和验证集上的收敛结果。 可以发现一下几个现象：

“以上是第一个角度，另外一个角度可能没那么准确，仅提供一种直觉”

这点我和知乎大佬pprp的看法有点不同，我先放上他的看法

我们知道CNN是一个局部性很强的模型，通常使用的是3x3卷积进行扫描整张图片，一层层抽取信息。而感受野叠加也是通过多层叠加的方式构建，比如两个3x3卷积的理论感受野就是5x5, 但是其实际感受野并没有那么大。 各种注意力模块的作用是什么呢？他们能够弥补cnn局部性过强，全局性不足的问题，从而获取全局的上下文信息，为什么上下文信息重要呢？可以看一张图来自CoConv。

单纯看图a可能完全不知道该目标是什么，但是有了图b的时候，知道这是厨房以后，就可以识别出该目标是厨房用手套。因此注意力模块具有让模型看的更广的能力，近期vision transformer的出现和注意力也有一定关联，比如Non Local Block模块就与ViT中的self-attention非常类似。vision transformer在小数据集上性能不好的也可以从这个角度解释，因为太关注于全局性（并且参数量比较大），非常容易过拟合，其记忆数据集的能力也非常强，所以只有大规模数据集预训练下才能取得更好的成绩。（感谢李沐老师出的系列视频！）再回到这个问题，注意力模块对感受野的影响，直观上来讲是会增加模型的感受野大小。理论上最好的情况应该是模型的实际感受野(不是理论感受野)和目标的尺寸大小相符。