【科普】神经网络与卷积神经网络

神经网络：何为神经网络呢？

最开始接触这个名词的时候，很长一段时间都将它看做一个高深莫测的神奇工具。竟然和大脑神经都有关系的算法，肯定很厉害！

学习之后才发现，原来神经网络也仅仅只是一个名词而已，只是形容一种类似神经元输入输出的函数关系，例如下图中，

神经元计算

这便是一个神经元h，它有四个输入，其中一个是偏置信息，而神经元的输出则为:

这样之后还会有一个激活操作，以便神经网络能够拟合非线性关系。

将这样的多个神经元堆叠起来，则可成为多层的神经网络，也可以称为多层感知器。其中每一个神经元的输入输出都按上面的方法进行计算。下图便是一个最简单的神经网络

这样看来，神经网络其实也就可以看做一种函数拟合方法。

例如，给定一堆的输入数据和已知他们的输出数据，将他们输入到神经网络进行训练优化，可以使得神经网路具有拟合输入输出之间关系的能力，然后给定一个未知输出的输入数据，可以推算出在这种规律下的输出数据。

神经网络特点：

一般而言，神经网络便能拟合出所有的函数关系了，那么，又为什么会出现卷积神经网络呢？

这个大家应该都知道，这是因为计算复杂度的关系，因为神经网络的全连接特性限制了它的发展，具体来说，如上图中所示，

首先，我们观察一下隐藏层的神经元的值的计算，我们可以发现每一个神经元的值都是由输入层的所有数据的一个加权和，若是每一个设计的神经网络都像上面一层网络那样简单，那全连接倒并不恐怖，可是现实情况是：

每一张图片，如果是一张256*256的RGB图片，那他的输入数据便有256*256*3=196608个，对应的权重也是这么多，一个神经元便对应着这么多的参数，更不用说，还要乘上隐藏层的神经元数目以及隐藏层的数目了。

可想而知，神经网络的全连接操作的参数量限制了神经网络的进一步发展。

而且，根据人的经验，人看见一张照片上一张人脸便可以判别出这张照片是一个人，神经网络其实也不用知道图片的完整信息便可以判别出图片类别，因此，神经网络中存在着很多的冗余信息。

这便出现了卷积神经网络，卷积神经网络一定程度上解决了神经网络的参数过多的缺点，相对于神经网络的全连接方式，卷积神经网络采用局部连接的方式，即中间层的一个神经元的输出由上一层的部分神经元的输决定，而不是所有的神经元的输入。

先看一下卷积操作的原理吧：

如图所示，第一列的三个矩阵为输入数据，中间列即为2个3*3的卷积核的参数，最后一列为输出层的数据。

每一个输出层的数据均由卷积核与输入层的部分数据的加权和决定。这样大大减小了网络的参数。

最早提出卷积神经网络的是Yann LeCun大神提出的LeNet-5网络，这是由三个卷积层和两个全连接层构成的网络，最初用于数字识别。至此开始，各种各样的卷积神经网络便开始拉开深度学习的帷幕。

LeNet-5

本来我并没有打算介绍神经网络和卷积神经网络，但是为了推卷积神经网络的那些论文的详细介绍（下面这篇推文中的承诺），所以还是写一篇作为开篇比较好。这个介绍不是很好，有兴趣的可以去找相关的细节学习。