在这篇文章里面，我们探讨了：可以使用偏导值利用梯度下降来求权重w和b，但是我们并没有提，如何求代价函数的偏导，或者说如何对代价函数使用梯度下降。这时候就需要我们的backpropagation出马了。

backpropagaton的历史我就不详谈了（主要是懒），总之呢，现在他已经成了神经网络计算的核心算法了。接下来我们就详细的讲这个算法。

首先我们从基础开始说起，首先定义一个神经网络

在这里，首先需要理解的就是 wljk 的形式。右上角的 l , 代表的是层数，也就是“输入”（可以是直接输入，也可以是上层的输入）与权重 w 结合，作用到的下一层。右下角的 k , 是 l−1 层的第k个神经元；右下角 j 的，是 l 层的第j个神经元。

这么写看起来好像比较奇怪，因为直觉上说，k在l之前，才是更符合我们认知的理解方式。但是后面我们可以看到，在这种处理方法之后，我们可以得到一种更简洁的处理式子。比较而言，这种前后稍微颠倒下，也无所谓了，适应下就好了。

除了权重w之外，我们还有b和a：

b是我们的偏差，a是我们的输入向量经过激活函数之后的结果，也就是 a=δ(z) .

在表现形式上，b跟a有这类似的特点：

右上角的值是所在的层数；右下角的值，是所在的第几个神经元。

于是，根据前面的一些式子，我们一结合，就可以写出下面的式子：

这个神经元的得来，就是从前一层l-1层的所有神经元，与与之对应的权重结合之后，所有的相加，经过激活函数得来的。

说点题外话，看到相乘，然后求和的情况，你会想到什么呢？如果你能想到矩阵相乘的话，哎吆，不错奥。

在矩阵中，我们要求的某个值，就是行与列对应位置的值相乘之后相加得到的。在本式子中，k就是那个对应的位置。例如，我们有公式

lij=∑Kkmiknkj

这个公式就是典型的矩阵相乘求值的公示，那么我们转成矩阵相乘：

li=minj

在（23）中，可以把 alj 理解成第l行第j列的值，那么我们采用矩阵相乘的方法来计算，就得到了：

al=δ(wlal−1+bl)

这样，就得到了一个比较简洁的式子。而且我们也可以看到之前说的 ，k和l互相颠倒的优点了。

为了更方便，我们设定

这样，我们可以方便的得到 al=σ(zl)

然后呢，为了计算backpropagation，我们需要作出两个假设。

首先，我们知道，代价方程的形式为：