Github: Logistic回归-代价函数求导过程 | 内含数学相关基础

先复习回顾下一些数学基础，帮助推导过程可以更好的理解。下面列举的公式都是，接下来的推导中会用到的，没有涉及到的公式，此处不再列举。

常数项求导

以 e 为底的指数求导公式

对数复合求导公式

幂函数复合求导公式

函数的和、差、积、商的求导法则

设，都可导，则:

(1)

(2)

(3)

(4)

复合函数求导法则

设 而且 及 都可导，则复合函数 的导数为

之前采用的是梯度下降算法用来求函数的最小值。

好吧，来吧正式开始了，有了以上的数学求导基础，接下来就容易多了，公式嘛，当初上学时，老师常说的一句话：“背过，记住！”

其中：

下面开始我们的推导过程：如果要求 对某一个参数的偏导数，则：

其中 K(θ)’ 为：（为方便显示，先把右上角表示第i个样本的上标去掉）

之后 需要对

现在 根据上面提到的

先对求导：

根据上面的已知公式：

依据上面的商求导公式可得：

参考文献：

[1] 玄天妙地 .第三周：逻辑回归代价函数求导过程 [OL]