神经网络训练过程是：

以上步骤如此反复多次，一直到预测结果和真实结果之间相差无几，亦即 ∣ a − y ∣ → 0 |a-y|\rightarrow 0 ∣a−y∣→0，则训练结束。

总结：所谓模型训练，其实就是通过如 SGD 优化算法指导模型参数更新的过程。

前向传播(forward propagation 或 forward pass)指的是: 按顺序(从输入层到输出层)计算和存储神经网络中每层的结果。

为了更深入理解前向传播的计算过程，我们可以根据网络结构绘制网络的前向传播计算图。下图是简单网络与对应的计算图示例:

其中正方形表示变量，圆圈表示操作符。数据流的方向是从左到右依次计算。

反向传播(backward propagation，简称 BP)指的是计算神经网络参数梯度的方法。其原理是基于微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络，依次计算每个中间变量和参数的梯度。

梯度的自动计算(自动微分)大大简化了深度学习算法的实现。

注意，反向传播算法会重复利用前向传播中存储的中间值，以避免重复计算，因此，需要保留前向传播的中间结果，这也会导致模型训练比单纯的预测需要更多的内存（显存）。同时这些中间结果占用内存（显存）大小与网络层的数量和批量（batch_size）大小成正比，因此使用大 batch_size 训练更深层次的网络更容易导致内存不足（out of memory）的错误！

大多数深度学习算法都涉及某种形式的优化。优化器的目的是更新网络权重参数，使得我们平滑地到达损失面中损失值的最小点。

深度学习优化存在许多挑战。其中一些最令人烦恼的是局部最小值、鞍点和梯度消失。

在深度学习中，大多数目标函数都很复杂，没有解析解，因此，我们需使用数值优化算法，本文中的优化算法: SGD 和 Adam 都属于此类别。

梯度下降（gradient descent, GD）算法是神经网络模型训练中最为常见的优化器。尽管梯度下降(gradient descent)很少直接用于深度学习，但理解它是理解随机梯度下降和小批量随机梯度下降算法的基础。

大多数文章都是以“一个人被困在山上，需要迅速下到谷底”来举例理解梯度下降法，但这并不完全准确。在自然界中，梯度下降的最好例子，就是泉水下山的过程：

示例参考 AI-EDU: 梯度下降。

梯度下降的数学公式：

θ n + 1 = θ n − η ⋅ ∇ J ( θ ) (1) \theta_{n+1} = \theta_{n} - \eta \cdot \nabla J(\theta) \tag{1} θn+1​=θn​−η⋅∇J(θ)(1)

其中：

下图展示了梯度下降法的步骤。梯度下降的目的就是使得 x x x 值向极值点逼近。

下面我通过一个简单的双变量凸函数 J ( x , y ) = x 2 + 2 y 2 J(x, y) = x^2 + 2y^2 J(x,y)=x2+2y2 为例，来描述梯度下降的优化过程。

通过梯度下降法寻找函数的最小值，首先得计算其函数梯度:

∂ J ( x , y ) ∂ x = 2 x ∂ J ( x , y ) ∂ y = 4 y {\partial{J(x,y)} \over \partial{x}} = 2x \\ {\partial{J(x,y)} \over \partial{y}} = 4y ∂x∂J(x,y)​=2x∂y∂J(x,y)​=4y

设初始点为 ( x 0 , y 0 ) = ( − 3 , − 3 ) (x_0, y_0) = (-3, -3) (x0​,y0​)=(−3,−3)，学习率 η = 0.1 \eta = 0.1 η=0.1，根据梯度下降公式(1)，可得参数迭代过程的计算公式:

( x n + 1 , y n + 1 ) = ( x n , y n ) − η ⋅ ∇ J ( x , y ) = ( x n , y n ) − η ⋅ ( 2 x , 4 y ) \begin{align} (x_{n+1}, y_{n+1}) &= (x_n, y_n) - \eta \cdot \nabla J(x, y) \nonumber \\ &= (x_n, y_n) - \eta \cdot (2x, 4y) \tag{2} \end{align} (xn+1​,yn+1​)​=(xn​,yn​)−η⋅∇J(x,y)=(xn​,yn​)−η⋅(2x,4y)​(2)​

这里手动计算下下一个迭代点的值:

( x 1 , y 1 ) = ( − 3 , − 3 ) − 0.1 ∗ ( 2 ∗ − 3 , 4 ∗ − 3 ) = ( − 3 + 0.6 , − 3 + 1.2 ) = ( − 2.4 , − 1.8 ) \begin{aligned} (x_1, y_1) &= (-3, -3) - 0.1*(2*-3, 4*-3) \\ &= (-3 + 0.6, -3 + 1.2) \\ &= (-2.4, -1.8) \\ \end{aligned} (x1​,y1​)​=(−3,−3)−0.1∗(2∗−3,4∗−3)=(−3+0.6,−3+1.2)=(−2.4,−1.8)​

根据上述公式 (2)，假设终止条件为 J ( x , y ) J(x,y) J(x,y) < 0. 005，迭代过程如下表1所示。

表1 双变量函数梯度下降的迭代过程

迭代 17 17 17 次后， J ( x , y ) J(x,y) J(x,y) 的值为 0.004564 0.004564 0.004564，满足小于 0.005 0.005 0.005 的条件，停止迭代。

由于是双变量，所以梯度下降的迭代过程需要用三维图来解释。表2可视化了三维空间内的梯度下降过程。

图中间那条隐隐的黑色线，表示梯度下降的过程，从红色的高地一直沿着坡度向下走，直到蓝色的洼地。

双变量凸函数 J ( x , y ) = x 2 + 2 y 2 J(x, y) = x^2 + 2y^2 J(x,y)=x2+2y2 的梯度下降优化过程以及可视化代码如下所示:

虽然随机梯度下降法（SGD）简单有效，但它需要仔细调整模型超参数，特别是优化中使用的学习率，以及模型参数的初始值。 由于每一层的输入都受到前面所有层的参数的影响，因此训练变得很复杂。（因为随着网络变得更深，网络参数的微小变化会被累积和放大）