感受野是什么?有什么用?深度学习笔记

您所在的位置:网站首页 深度解析自己的感受是什么 感受野是什么?有什么用?深度学习笔记

感受野是什么?有什么用?深度学习笔记

2024-02-18 22:37| 来源: 网络整理| 查看: 265

1.是什么?

感受野(receptive field)这一概念来自于生物神经科学,是指感觉系统中的任一神经元,其所受到的感受器神经元的支配范围。感受器神经元就是指接收感觉信号的最初级神经元。

在卷积神经网络中,感受野(Receptive Field)是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的。神经元感受野的值越大表示其能接触到的原始图像范围就越大,也意味着它可能蕴含更为全局,语义层次更高的特征;相反,值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。

如下图所示,在5*5的 layer1(黄色区域),使用3*3卷积(青色区域)进行特征提取,所提取得到的特征图在layer2中青色;继续以步长为1逐步进行特征提取,5*5的layer1完成整个卷积操作就变成3*3的layer2;继续以3*3卷积对layer2进行特征提取,得到1*1的layer3。

其中,layer1的感受野大小为1,layer2的感受野大小为3,layer3的感受野大小为5。

2. 有什么用?

感受野的大小决定了该层网络对输入图像的理解程度,即能够捕捉到多大范围内的特征信息。较小的感受野可以捕捉到更细节的特征,但可能会忽略掉更大范围内的信息;较大的感受野可以捕捉到更全局的信息,但可能会忽略掉更细节的特征。

感受野的作用主要有两个方面:

影响网络的感知能力:较小的感受野可以提高网络对细节特征的感知能力,较大的感受野可以提高网络对全局特征的感知能力。影响网络的计算复杂度:较小的感受野需要更多的卷积层来提取特征,从而增加了计算复杂度;较大的感受野可以通过较少的卷积层来提取特征,从而减少了计算复杂度。

增大感受野可以提高模型对于输入图像的理解能力,但是也可能会导致模型过拟合或者计算量过大。因此,增大感受野需要在保证模型性能的前提下进行。

常用的增大感受野的方法有:

使用更大的卷积核,例如使用3x3的卷积核替换原来的1x1或2x2卷积核。增加网络的深度,例如使用更多的卷积层或池化层。使用步长更大的卷积层或池化层,例如使用stride=2的卷积层或池化层。使用空洞卷积(dilated convolution),可以在不增加参数和计算量的情况下增大感受野。

减小感受野可能会影响模型的性能,因为较小的感受野可能会导致模型无法捕捉到更广泛的上下文信息,从而影响模型的准确性和泛化能力。但是,如果在适当的情况下使用,减小感受野也可以提高模型的效率和计算速度。

常用的减小感受野的方法有:

使用较小的卷积核,如3x3或者1x1的卷积核代替5x5或7x7的卷积核;使用步长大于1的卷积操作,如stride=2的卷积操作;使用池化操作,如max pooling或average pooling。

 

3.感受野的计算

更详细的过程来源于这篇文章

Computing Receptive Fields of Convolutional Neural Networks

卷积层的理论感受野可以由递推公式计算出来。首先定义下参数意义,r代表感受野l 代表层数k 代表卷积核大小s 代表步长

最大池化层的理论感受野

 

图中,由1个conv3*3(stride=1,pad=1),1个ReLu层,1个2*2MaxPooling层(k=2,s=2,p=0)组成。f_{0}为输入层,f_{4} 层 为输出层。很明显能够发现,f_{4}层的感受野为6。推导过程如下 ​  1. f_{1}默认感受野为1,即 r_{0}=1   2. f_{2}层为3*3conv层,r_{1} = r_{0} + (k_{1} - 1 ))*\prod _{i=0}^{0}s_{0},  即 r1 = 1 + (3 - 1) * 1 = 3 3. f_{3} 层为激活函数层ReLu,不改变理论感受野大小(也不是没作用,有效感受野里面会提到它的作用)r2 = 3 4. f_{4} 层为3*3conv层,和上一个conv层一样,r3 = 3 + ( 3 − 1 ) ∗ 1 = 5  5. f_{5} 层为2*2maxpooling层,r4 = 5 + ( 2 − 1 ) ∗ 1 = 6  

按照上述方法可以计算出主流的backbone理论感受野大小,如下图所示。 

从感受野的计算公式很明显能够看出,stride kernel_size rf_size都会对其产生影响,其中srtide对感受野大小起决定性作用。

参考:

 深度理解感受野(一)什么是感受野?

感受野详解 



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3