用笔记，记录自己的点滴进步；用行动，驱赶心中的彷徨

——杰

人工神经网络（Artificial Neural Network，ANN），也简称神经网络，是众多机器学 习算法中比较接近生物神经网络特性的数学模型。人工神经网络通过模拟生物神经网络 （大脑）的结构和功能，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构 成，可以用来对数据之间的复杂关系进行建模。

深度学习（deep neural network）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

--wiki

神经网络：一种可以通过观测数据使计算机学习的仿生语言范例 深度学习：一组强大的神经网络学习技术

最初的最简单的神经网络是神经元（感知机），之后由寒冬开始复苏，出现了卷积神经网络CNN，图神经网络RNN，反向传播算法BP。

大多数学习过机器学习的人，特别是初学者来说，很难理解神经元和感知机的关系。这里我做一个简单的解释。 | | | 上图神经元和感知机的原理大概。我们可以看到单个神经元在树突上收集其他神经元传递过来的信息，在信息量到达一个阈值之后，便会产生一个脉冲信号，经过轴突传送到突触，进而传递给下一个神经元。感知机正是模仿这一神经元的运行过程进行的设计。最初的感知机模型也是一种二元表示法，也就是要么有信号产生，要么没有信号产生。 我们把感知机的模型进行分解，可以分为：输入权值、激活函数、输出。

输入权值：每个输入都有一个权值，另外还有一个W0表示偏置，偏置的作用是让后面的阶跃函数位于原点。

激活函数：这里采用阶跃函数作为激活函数，实际应用的还有很多激活函数，诸如Sigmoid函数，Relu等等。

输出：该感知器的输出由下面这个公式来计算 关于激活函数和神经元的描述，有兴趣的可以继续了解，这里便不做详细的解析。总之，感知机的缺陷，就在于仅适用于线性条件，并且对于大规模的数据集，显得极为吃力，准确率不足。

这里我重点介绍CNN，卷积神经网络算法

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”

——来自比较多的网络说法

卷积神经网络（Convolutional Neural Networks / CNNs / ConvNets）与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，普通神经网络里的一些计算技巧到这里依旧适用。

所以哪里不同呢？卷积神经网络默认输入是图像，可以让我们把特定的性质编码入网络结构，使是我们的前馈函数更加有效率，并减少了大量参数。 多个神经元组织在一起，就是神经网络。

上图中最左边的原始输入信息称之为输入层，最右边的神经元称之为输出层（上图中输出层只有一个神经元），中间的叫隐藏层。 啥叫输入层、输出层、隐藏层呢？ 输入层（Input layer），众多神经元（Neuron）接受大量非线形输入讯息。输入的讯息称为输入向量。 输出层（Output layer），讯息在神经元链接中传输、分析、权衡，形成输出结果。输出的讯息称为输出向量。 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。如果有多个隐藏层，则意味着多个激活函数。 它们如何计算和联系起来的呢？举个小列子：

此外，上文中讲的都是一层隐藏层，但实际中也有多层隐藏层的，即输入层和输出层中间夹着数层隐藏层，层和层之间是全连接的结构，同一层的神经元之间没有连接。 关于隐藏层的密码，是整个算法区别其他算法的关键。

卷积神经网络通常包含以下几种层：

最左边是数据输入层，对数据做一些处理，比如去均值（把输入数据各个维度都中心化为0，避免数据过多偏差，影响训练效果）、归一化（把所有的数据都归一到同样的范围）、PCA/白化等等。CNN只对训练集做“去均值”这一步。 中间是 CONV：卷积计算层，线性乘积 求和。 RELU：激励层，上文2.2节中有提到：ReLU是激活函数的一种。 POOL：池化层，简言之，即取区域平均或最大。 最右边是 FC：全连接层 卷积计算层是CNN的核心

最初的CNN，它的优势就在于对图像的处理，详细的卷积层操作，可以参照这里。（对于这里，我存在盗用的嫌疑）。卷积层的操作对象，主要可以分为对静态图片和动态图像的处理。它们的共同特征就在，对原图像进行特征的提取处理，也就是我们常说的卷积。

非严格意义上来讲，下图中红框框起来的部分便可以理解为一个滤波器，即带着一组固定权重的神经元。多个滤波器叠加便成了卷积层。

对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』。 如下图，中间的部分就是我们的滤波器filter，左边是输入的二维表，右边是输出的二维表。 中间滤波器filter与数据窗口做内积，其具体计算过程则是：40 + 00 + 00 + 00 + 01 + 01 + 00 + 01 + -4*2 = -8 对于动图，需要考虑的参数也会更多，比如:深度、步长、填充字。

后记： 普通神经网络把输入层和隐含层进行“全连接(Full Connected)“的设计。但是对于复杂的神经网络，则我们需要消耗更多的性能来提取特征，故而提出了局部感知的概念，对隐含单元和输入单元间的连接加以限制：每个隐含单元仅仅只能连接输入单元的一部分。每个隐含单元连接的输入区域大小叫r神经元的感受野(receptive field)。 这里请参考：详解卷积神经网络(CNN)

常用的激励函数，有sigmoid，Tanh，ReLU，Leaky ReLU，Maxout。 sigmoid函数，功能是把一个实数压缩至0到1之间。输入的数字非常大的时候，结果会接近1，而非常大的负数作为输入，则会得到接近0的结果。数学形式很简单，是

图像是： 缺点：

Tanh函数，它会将输入值压缩至-1到1之间，当然，它同样也有sigmoid函数里说到的第一个缺点，在很大或者很小的输入值下，神经元很容易饱和。但是它缓解了第二个缺点，它的输出是0中心化的。如下图像。 代码实现：

ReLU函数，ReLU是修正线性单元(The Rectified Linear Unit)的简称。它对于输入x计算f(x)=max(0,x)。换言之，以0为分界线，左侧都为0，右侧是y=x这条直线。

代码实现：

优点：实验表明，它的使用，相对于sigmoid和tanh，可以非常大程度地提升随机梯度下降的收敛速度。此外求梯度，变得更加简单。 缺点：ReLU单元也有它的缺点，在训练过程中，它其实挺脆弱的，有时候甚至会挂掉。举个例子说吧，如果一个很大的梯度流经ReLU单元，那权重的更新结果可能是，在此之后任何的数据点都没有办法再激活它了。一旦这种情况发生，那本应经这个ReLU回传的梯度，将永远变为0。 Leaky ReLU函数，它是相对与ReLU函数的缺点而言的，有所改进。这里他讲下x