人工智能（AI，Artificial Intelligence）是对人类智能在计算机上的复制。人工智能作为一门学科成立于1956年。当时的目标和现在一样，是让计算机执行被认为是人类独有的任务:即需要智力的任务。最初，研究人员研究的问题包括玩跳棋和解决逻辑问题。

机器学习（ML，Machine Learning），指的是机器使用大量数据集而非硬编码规则来进行学习的能力。

硬编码算法或固定的、基于规则的系统在图像识别或从文本中提取含义等方面表现不佳。结果证明，解决方法不仅仅是模仿人类行为(AI)，而是模仿人类的学习方式。

深度学习（DL，Deep Learning），简而言之，深度学习就是使用更多神经元、层次和相互连接的神经网络。我们离模拟人类大脑的复杂性还有很长的路要走，但我们正在朝着这个方向前进。

随着人工智能的研究，人工智能的领域也在不断扩大，下图展示了人工智能研究的各个分支，包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等。AI、ML和DL的关系如下图所示。

从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。

常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归

我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。

非监督学习目标不是告诉计算机怎么做，而是让它（计算机）自己去学习怎样做事情。非监督学习有两种思路。

如下图所示，在无监督学习中，我们只是给定了一组数据，我们的目标是发现这组数据中的特殊结构。例如我们使用无监督学习算法会将这组数据分成两个不同的簇,，这样的算法就叫聚类算法。

深度神经网络（deep neural networks，DNN）是深度学习目前几乎唯一行之有效的实现形式。简单的说，深度神经网络就是很深的神经网络。我们利用网络中逐层对特征进行加工的特性，逐渐从低级特征提取高级特征。除了深度神经网络之外，有学者在探索其他深度学习的实现形式，比如深度森林。

激活函数是神经网络的必要组成部分，数据经过函数运算后由激活函数映射输出。如果没有激活函数，多次线性运算的堆叠仍然是一个线性运算。如下图，Y的表达式f，就是一个激活函数。也就是说，每一个输入都有自己的权重，权重和输入的值相乘，然后加上一个偏置b之后在经过一个函数f得到输出y，这个f就是激活函数。

Y = f ( w 1 ∗ x 1 + w 2 ∗ x 2 + b ) Y = f(w_1*x_1 + w_2*x_2 +b) Y=f(w1​∗x1​+w2​∗x2​+b)

下面介绍一些常用的激活函数。

输入一个实值，输出一个 0 至 1 间的值。 f ( x ) = 1 1 + e − x f(x)=\frac1{1+e^{-x}} f(x)=1+e−x1​ 其导函数图像如下所示：

其值域范围为(-1, 1)。 f ( x ) = t a n h ( x ) = e x    − e − x    e x    + e − x f(x)=tanh(x)=\frac{e^x\;-e^{-x}\;}{e^x\;+e^{-x}} f(x)=tanh(x)=ex+e−xex−e−x​

其值域范围为 [ 0 , ∞ ) \lbrack0,\infty) [0,∞)。 f ( x ) = m a x ( 0 , x ) f(x)=max(0,x) f(x)=max(0,x)

Relu激活函数的优点：

Relu激活函数的的缺点：

其值域范围为 [ − ∞ , ∞ ) \lbrack-\infty,\infty) [−∞,∞)。 f ( x ) = m a x ( k x , x ) f(x)=max(kx,x) f(x)=max(kx,x)

解决了Relu中0区间的影响，k为leak系数，一般选择0.01或0.02。

Softmax 多用于多分类神经网络输出。

模型不能很好的拟合数据，通常表现在训练集上准确率不高。

每次只训练相同的数据，若一段时间后准确率很高，则说明网络的拟合能力不足，即当前网络无法拟合全部数据。

模型学的太彻底，把一些噪声特征也学到了。通常表现在训练集上表现很好，但在测试集上准确率不高。

模型在验证集合上和训练集合上表现都很好，而在测试集合上变现很差。过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂.

下列图片为欠拟合与过拟合的示例。

正则化是一种减小测试误差的行为，通常用于防止模型的过拟合问题。

理论上，当损失函数为0时，预测结果与实际情况完全一致，但是此时模型的过拟合现象显然已经发生，模型不再具备任何泛化能力，即对于输入的新数据，模型将无法做出正确的判断。既然知道了过拟合发生的数学原因，解决的办法就是给模型增加一个约束，限制最终参数的取值范围，让原有损失函数无法取到0，因此就出现了正则化的方法，即在上述公式的最后人为添加一个约束。

欠拟合的现象也常会发生，这是由于在实际工作当中，获取训练数据的成本很高，与海量现实信息相比，人们掌握的数据量往往少的可怜。为了解决数据量的问题，就出现了数据增强所谓数据增强，就是通过一些技术手段，使原来不那么丰富的数据变得丰富起来。总体来说，数据增强的作用有两点：

以图像数据为例，数据增强的方法有如下几种：

我们知道，典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。综合而言，上述过程可以分步骤为：

假如我们设置得训练次数是30次，但是训练了20次之后，验证集得损失不再下降，精确度不再上升，所以第20轮之后。模型逐渐开始过拟合。对于这种特殊情况，我们可以通过在二十个左右的时期之后停止训练来防止过度拟合。

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。基础的CNN由 卷积(convolution), 激活(activation), and 池化(pooling)三种结构组成。

与常规神经网络不同，卷积神经网络的各层中的神经元是3维排列的：宽度、高度和深度。其中的宽度和高度是很好理解的，因为本身卷积就是一个二维模板，但是在卷积神经网络中的深度指的是激活数据体的第三个维度，而不是整个网络的深度，整个网络的深度指的是网络的层数。举个例子来理解什么是宽度，高度和深度，假如使用CIFAR-10中的图像是作为卷积神经网络的输入，该输入数据体的维度是32x32x3（宽度，高度和深度）。我们将看到，层中的神经元将只与前一层中的一小块区域连接，而不是采取全连接方式。对于用来分类CIFAR-10中的图像的卷积网络，其最后的输出层的维度是1x1x10，因为在卷积神经网络结构的最后部分将会把全尺寸的图像压缩为包含分类评分的一个向量，向量是在深度方向排列的。下列是全连接神经网络与卷积神经网络的对比。

样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了能对时间序列上的变化进行建模， 比如当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列，就出现了另一种神经网络结构——循环神经网络RNN（不知道为什么很多叫循环的。计算机术语里循环一般是同一层次的，Recurrent 其实是时间递归，所以本文叫他递归神经网络）。

在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身。下图是一个简单的循环神经网络图： 如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

我们给出这个抽象图的具体图：

损失函数是定义在单个样本上的，算的是一个样本的误差。

代价函数是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

目标函数是最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。

损失函数和代价函数越小越好，目标函数可能是最大值，也可能是最小值。

在线性回归中，最常用的代价函数是均方误差(Mean squared error)。在逻辑回归中，最常用的是代价函数是交叉熵(Cross Entropy) 。

参考列表：