提起BP算法(Back Propagation)，相信学过深度学习的人都不陌生，在深层的网络中对权重参数的更新免不了要使用这个算法，所以BP算法也是入门深度学习的一个必须理解的算法。

写这篇文章的缘由是我自己对BP算法在此之前也是属于半懂（知道工作原理，不明白处理细节）的状态，看了网上许多文章，觉得讲的都不够简单，让刚入门的小白难以接受，产生劝退效果。因此，打算通过写一篇简单理解BP算法的文章，一方面提升自己对BP的理解，另一方面希望看到这篇文章的小伙伴能够掌握BP算法的原理，为以后的学习铺路。

BP算法是针对深层次网络进行参数更新的算法，因此需要先理解单层网络下，权重是如何被更新的。

为了理解简便，我们采用最简单的线性分类模型 y = f ( x ) = w T x + b (1) \mathbf y = f(\mathbf x) = \mathbf w^T\mathbf x+b \tag{1} y=f(x)=wTx+b(1) 从公式容易看出，输入是一个向量 x \mathbf x x， w T \mathbf w^T wT是参数矩阵， b b b是偏置（对这些不了解的可以先看我这篇机器学习：线性分类问题（基础知识））。转换成网络图如下：

可以看出经过网络后，一个三维的输入向量转换成了一个二维的输出向量

例如得到输出向量为 y = [ 0.7 , 0.3 ] \mathbf y = [0.7,0.3] y=[0.7,0.3]而真实的数据是 y ^ = [ 1 , 0 ] \hat{\mathbf y} = [1,0] y^​=[1,0]，那么说明模型的参数还不符合预期，存在误差，这时候就要定义损失函数将误差计算出来。

损失函数是用于衡量预测输出和真实输出之间差距的，通常我们采用均方误差（有时候也用熵）： l o s s ( y , y ^ ) = 1 2 ∑ i = 1 N ∣ ∣ y − y ^ ∣ ∣ 2 (2) loss(\mathbf y,\hat{\mathbf y}) = \frac{1}{2}\sum_{i=1}^N||\mathbf y-\hat{\mathbf y}||^2 \tag{2} loss(y,y^​)=21​i=1∑N​∣∣y−y^​∣∣2(2)

这里 N N N是输入的样本数量，每个样本输入都会得到一组 y , y ^ \mathbf y,\hat{\mathbf y} y,y^​

有了损失相当于告诉我们模型还不够完善，要对模型优化（就是对权重更新），如何更新的步骤就是参数优化算法要干的事了

相信大家也很熟悉参数优化采用的方式是梯度下降算法（更一般地是随机梯度下降），梯度下降的含义在于我们知道了误差，现在想要将误差减小，注意这里的参数是 w , b \mathbf w,b w,b，你可以简单理解为 x , y x,y x,y一元函数优化的过程，下图展示了梯度下降： 如图，我们需要从实际的loss降到期望的最小loss，很显然，最快的方法就是验证导数最大的反方向下降，但是我们下降了一会，到了一个新的loss点的时候，原理的导数最大方向不是当前的导数最大方向了。因此，在梯度下降算法中常常有一个超参数叫做学习率( α \alpha α),它控制了梯度下降的步长，告诉我们走一段之后重新计算梯度，再往下走。当基本稳定在某个点的时候就不需要再继续下降了。

上面是梯度下降的过程，让我们理解参数是如何被优化的，但同时也可引出三个常见问题的答案

到此一轮参数更新已经完成，实际训练中，往往要进行多个周期的更新达到更好的效果，即重复上面的步骤即可。

上面的方法仅适用于单层（只有输入输出层）的参数优化，当遇到多层网络时，最后一层的参数依然可根据输出的损失，但如何将最后一层的损失传递到前一层，再更新前一层的参数就需要BP算法出马了。

同样为了简便理解，我们采用一个稍微简单一些的多层网络描述BP算法，网络结构如下：

需要解释的地方是 f ( a 1 ) = o 1 f(a_1) = o_1 f(a1​)=o1​是， a 1 a_1 a1​是前面 x \mathbf x x和 w , b \mathbf w,b w,b计算得到结果， f f f表示激活函数，用于添加非线性操作，使得网络能够处理非线性问题。 o 1 o_1 o1​是该神经元的输出，也是下一层的输入

因此我们可以得到第 l l l层和 l − 1 l-1 l−1层的关系公式如下所示： a l = w l o l − 1 + b o l = f ( a l ) (3) \mathbf a_l = \mathbf w_l \mathbf o_{l-1}+b\\ \mathbf o_l = f(\mathbf a_l) \tag{3} al​=wl​ol−1​+