【深度学习注意力机制系列】

您所在的位置：网站首页 › scse法则什么意思 › 【深度学习注意力机制系列】

【深度学习注意力机制系列】

2024-07-04 16:00| 来源: 网络整理| 查看: 265

SCSE注意力模块（来自论文[1803.02579] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks (arxiv.org)）。其对SE注意力模块进行了改进，提出了cSE、sSE、scSE三个模块变体，这些模块可以增强有意义的特征，抑制无用特征。今天我们就分别讲解一下这三个注意力模块。

1、cSE模块（通道维度的SE注意力机制）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SMHvhcuu-1691560496641)(E:\学习笔记\深度学习笔记\深度学习基础知识\注意力机制\SCSE.assets\image-20230809131542884.png)]$

cSE模块引入了通道注意力机制，可有效的对通道维度的特征信息进行整合增强，这一点与SE等传统通道注意力机制近似，其最大不同的是其对得到的注意力权重进行了降维再升维的操作，类似与resnet中的瓶颈结构以及Fast RCNN目标检测网络最后的全连接加速层，这种操作方式有些奇异值分解的意思，在深度学习模型中十分常见，可有效的整合通道信息，并且简化模块复杂度，减小模型计算量，提升计算速度。

实现机制：

将特征图通过全局平均池化层将维度从[C, H, W]变为[C, 1, 1]。然后使用两个1×1卷积进行信息的处理（即降维与升维操作），最终得到C维的向量。然后使用sigmoid函数进行归一化，得到对应的权重向量文件。最后通过channel-wise与原始特征图相乘，得到经过通道信息真个校准过的特征图。

代码实现：

class CSE(nn.Module): def __init__(self, in_channels, reduction=16): super(CSE, self).__init__() self.cSE = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels // reduction, 1), nn.ReLU(inplace=True), nn.Conv2d(in_channels // reduction, in_channels, 1), nn.Sigmoid(), ) def forward(self, x): return x * self.cSE(x) 2、sSE模块（空间维度的SE注意力机制）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xWAJQhNS-1691560496643)(E:\学习笔记\深度学习笔记\深度学习基础知识\注意力机制\SCSE.assets\image-20230809131552369.png)]$

sSE模块在特征图的空间维度展开信息增强整合，同通道维度一样，其也是通过先提取权重信息，再将权重信息同原始特征图相乘得到注意力增强效果，不过在提取权重信息时是在空间维度展开，不再是使用全局平均池化层，而是使用输出通道为1，卷积核大小为1×1 的卷积层，进行信息整合。

这里我们顺便简介一下1×1卷积层的作用：

① 改变通道数（即升维降维）

② 信息整合（可实现跨通道的信息交互）

③ 增加非线性（基于奇异值分解，结合非线性激活函数，加深模型）

实现机制：

将特征图通过一个输出通道为1，卷积核大小为1×1 的卷积层，得到一个维度为（1, H, W）的权重矩阵。将权重矩阵进行sigmod归一化处理，得到最终的权重矩阵。将权重矩阵同原始特征图在空间维度相乘，得到最终空间信息增强特征图结果。

代码实现：

class SSE(nn.Module): def __init__(self, in_channels): super(SSE, self).__init__() self.sSE = nn.Sequential(nn.Conv2d(in_channels, 1, 1), nn.Sigmoid()) def forward(self, x): return x * self.sSE(x) 3、scSE模块（混合维度的SE注意力机制）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o7I26uui-1691560496643)(E:\学习笔记\深度学习笔记\深度学习基础知识\注意力机制\SCSE.assets\image-20230809131630998.png)]$

scSE模块是sSE模块和cSE模块的综合体，即同时对空间维度和通道维度进行信息整合增强，将两者的特征结果沿着通道维度进行相加（结果和原始特征图维度相同）。

实现机制：

将特征图通过cSE模块，得到特征图结果1。将特征图通过sSE模块，得到特征图结果2.将特征图结果1和2沿着通道维度相加，得到最终信息校正结果（前后特征图维度不变）。

代码实现：

class SCSE(nn.Module): def __init__(self, in_channels, reduction=16): super(SCSE, self).__init__() self.cSE = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels // reduction, 1), nn.ReLU(inplace=True), nn.Conv2d(in_channels // reduction, in_channels, 1), nn.Sigmoid(), ) self.sSE = nn.Sequential(nn.Conv2d(in_channels, 1, 1), nn.Sigmoid()) def forward(self, x): return x * self.cSE(x) + x * self.sSE(x)

【本文地址】

【深度学习注意力机制系列】

【深度学习注意力机制系列】

今日新闻

推荐新闻