卷积神经网络的结构

卷积神经网络是一种多层前馈神经网络，其基本构成要素包括卷积层、池化层(也称为采样层)和全连接层。

１卷积层

一般地，每一个卷积层都由若干个结点构成．卷积层通过卷积运算提取图像的不同特征。关于卷积层，研究的重点主要在激活函数上．激活函数在卷积神经网络中起着重要作用，它将非线性性质引入到网络中，非线性性质是保证网络具有一致逼近能力的重要因素．另外，因为大多数前馈神经网络(也包括卷积神经网络)的训练算法都是基于误差反向传播的思想，激活函数的性质对梯度的计算具有很大的影响．例如，激活函数的输出饱和程度就严重影响着网络的收敛性，输出饱和程度越高，网络的收敛性越差．因此激活函数对卷积神经网络的训练速度或收敛性具有很大的影响．神经网络训练的稳定性一般通过将网络中的变量(包括网络结点的输入和输出)限定在一定的范围内．而激活函数就有对网络变量限界的作用，所以激活函数对网络训练的稳定性也有重要的影响．总之，激活函数对网络的收敛性、稳定性和一致逼近能力都有重要的影响．

２池化层

卷积层通过不同的卷积核提取图像的不同特征，而池化层(也称为采样层)通过不同的池化操作对图像进行降维，并提高图像特征的变换不变特性．常用的池化操作包括最大池化(maxpooling)和平均池化(averagepooling)．池化操作和卷积操作有类似的地方，即池化窗口按着一定规则在输入特征图中，按从上到下，从左到右顺序的移动．最大池化对窗口所覆盖的子矩阵求其元素的最大值，作为池化输出特征图(一个矩阵)中的一个元素．近几年，关于池化层的研究主要集中在新的池化操作及将其他技术(例如，Dropout技术、学习技术、自适应技术等)引入到池化中．在最大池化和平均池化的基础上，提出的新池化操作包括混合池化、Lp范数池化、空域金字塔池化等．

随着深度学习的发展，现在的卷积神经网络模型越来越复杂，训练复杂网络需要的数据集越来越大．这样，上述训练LetNet的反向传播算法已不能满足需要．近几年，研究人员提出了一些新的训练卷积神经网络的方法，这些方法都是设法加速网络的训练．根据加速机制，这些方法可大致分为２类：基于GPU或CPU(多核和众核)的硬加速方法和基于加速算法的软加速方法．

因为卷积神经网络能直接处理图像数据，所以它在计算机视觉领域的应用最广泛．计算机视觉领域中的各种任务都有卷积神经网络大量成功的应用，包括图像分类、目标跟踪、目标检测等．另外，卷积神经网络在语音识别、文本分类中也有成功的应用．

．