Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM) |
您所在的位置：网站首页 › 注意区分 › Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM) |
Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)
|
Attention机制理解笔记
声明Attention分类(主要SA和CA)spitial attentionchannel attentionSA + CA(spitial attention+channel attention)加强SA+CA理解
空间注意力机制和通道注意力机制解释attention机制Attention模型架构1.空间注意力模型(spatial attention)2.通道注意力机制3.空间和通道注意力机制的融合
CBAM 和 BAMBLOG1的笔记重点及总结
BLOG2重点看下这篇文章
BAM 具体结构
声明
全文内容均来以下作者博客，我仅是在此基础上作笔记。 Attention分类(主要SA和CA)来自 Mr DaYang 的 blog笔记 soft attention（包括空间注意力、通道注意力）软注意学习的目的是选择细粒度的重要像素点，它们是pixel级。hard attention( local 注意力) 硬注意学习则致力于搜索粗糙的潜在判别区域，它们是region级。来自 Mr DaYang 的 blog 里面的图片
一般来说对于同一像素点不同通道求均值(NxCxHxW---->Nx1xHxW),再经过一些卷积和上采样的运算得到spitial attention mask,空间特征每层的像素点就被赋予不同的权重(一句话来说这是针对 N C H W 的每个C 的 H W 的赋予权重，这就叫做spitial attention) channel attention一句话来说就是== 针对 N C H W 的 每个 C 赋予权重，这就叫做 channel atteion== （N C H W----> N C 1 1） SA + CA(spitial attention+channel attention)SA + CA 的使用有 BAM CBAM 两种代码方式，简单来说，spitial attention 矩阵 与 channel attention 矩阵相乘得到 SA+CA的效果。 加强SA+CA理解来自 Mr DaYang 的 blog 里面的图片 来自vodka、的blog笔记 attention机制
CBAM 和 BAM CBAM 和 BAM CBAM 和 BAM参考知乎作者 图像博士的橘猫上 的CBAM 和 BAM BLOG1的笔记 重点及总结1.加入CBAM的额外开销忽略不计，这点我测试过。 2.通道注意力的模块放在空间注意力模块之前 3.如何还原经过通道CAM和SAM的特征图的，通过与原来特征图的相乘得到。 注意力机制BAM和CBAM详细解析（附代码）（提供了代码链接） BAM 具体结构
空洞卷积 |
【本文地址】
今日新闻 |
推荐新闻 |