当将训练集的样本以其各个特征为坐标轴在图中进行绘制时，通常可以找到某一个 判定边界 去将样本点进行分类。例如：

线性判定边界：

非线性判定边界：

sigmoid函数图像如下：

上面是一种求损失函数的方式，我们也可以换一种方式来求损失函数，即极大似然估计。用极大似然估计来作为损失函数

同样，上式中的a为学习率（下山步长）。将上式的偏导展开，可得：

非正则化的损失函数的偏导：

含正则化项的损失函数的偏导：

其中 λ 为正则化的强度。

同线性回归般，可以通过学习率a对特征系数向量中的元素不断进行迭代，直到元素值收敛到某一值即可，这时可以得到损失函数较小时的特征向量系数Θ。

在上面，我们主要使用逻辑回归解决二分类的问题，那对于多分类的问题，也可以用逻辑回归来解决？

由于概率函数 hΘ(X) 所表示的是样本标记为某一类型的概率，但可以将一对一（二分类）扩展为一对多（one vs rest）：

将类型class1看作正样本，其他类型全部看作负样本，然后我们就可以得到样本标记类型为该类型的概率p1；

然后再将另外类型class2看作正样本，其他类型全部看作负样本，同理得到p2；

以此循环，我们可以得到该待预测样本的标记类型分别为类型class i时的概率pi，最后我们取pi中最大的那个概率对应的样本标记类型作为我们的待预测样本类型。

使用softmax函数构造模型解决多分类问题。

softmax回归分类器需要学习的函数为 ： （这里下面的公式有问题，括号中的每一项应该都是以e为底的）

其中 k 个 类别的个数 ， 和  为 第 i 个 类别对应的 权重向量 和 偏移标量。

其中  可看作样本 X 的标签 为 第 j 个 类别的概率，且有  。

与 logistic回归 不同的是，softmax回归分类模型会有多个的输出，且输出个数 与 类别个数 相等，输出为样本 X 为各个类别的概率 ，最后对样本进行预测的类型为 概率最高 的那个类别。

我们需要通过学习得到  和  ，因此建立目标损失函数为：

上式的代价函数也称作：对数似然代价函数。

在二分类的情况下，对数似然代价函数 可以转化为 交叉熵代价函数。

其中 m 为训练集样本的个数，k 为 类别的个数， 为示性函数，当  为真时，函数值为 1 ，否则为 0 ，即 样本类别正确时，函数值才为 1 。

继续展开：

通过 梯度下降法 最小化损失函数 和 链式偏导，使用  对  求偏导：

化简可得：

再次化简可有：

因此由 梯度下降法 进行迭代：

同理 通过梯度下降法最小化损失函数也可以得到  的最优值。

同逻辑回归一样，可以给损失函数加上正则化项。

当标签类别之间是互斥时，适合选择softmax回归分类器 ;当标签类别之间不完全互斥时，适合选择建立多个独立的logistic回归分类器。

在上面的逻辑回归的二分类问题中，我们令正样本的标签 y = 1 ，负样本的标签 y = 0。对于单个样本来说，其损失函数Cost（hΘ(X)，y）可以表示为：（hΘ(X)的值表示正样本的概率）

若我们 令正样本的标签 y = 1 ，负样本的标签 y = -1，则有：

其中（待续）