损失函数（loss function）：计算的是一个样本的误差。它是用来估量你模型的预测值 f(x)与真实值 Y的不一致程度，通常用 L(Y,f(x))来表示。

代价函数（cost function）：是整个训练集上所有样本误差的平均。本质上看，和损失函数是同一个东西。

目标函数：代价函数 + 正则化项。

损失函数越小，模型的鲁棒性就越好。

目标函数包括了经验风险项和结构风险项（正则项），通常如下所示：

其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，后面的 Φ 是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子表示的是找到使目标函数最小时的θ值。

常见的损失误差有五种。

1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM） 中；

2. 互熵（交叉熵）损失 （Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中；

3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中；

4. 指数损失（Exponential Loss） ：主要用于Adaboost 集成学习算法中；

5. 其他损失（如0-1损失，绝对值损失）

Hinge loss 的叫法来源于其损失函数的图形，通用的函数表达式为：

表示如果被正确分类，损失是0，否则损失就是 1−mi(w) 。

参考SVM的具体推导过程

在机器学习中，Hing 可以用来解间距最大化的问题，最有代表性的就是SVM 问题，最初的SVM 优化函数如下： 

将约束项进行变形，则为： 

则损失函数可以进一步写为： 

因此， SVM 的损失函数可以看作是 L2-Norm 和 Hinge Loss 之和。

有些人可能觉得逻辑回归的损失函数就是平方损失，其实并不是。平方损失函数可以通过线性回归在假设样本是高斯分布的条件下推导得到，而逻辑回归得到的并不是平方损失。

在逻辑回归的推导中，它假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值等等。而逻辑回归并没有求似然函数的极值，而是把极大化当做是一种思想，进而推导出它的经验风险函数为：最小化负似然函数（Negative Likelihood (LL)）（即maxF(y,f(x))→min−F(y,f(x)))。从损失函数的视角来看，它就成了Softmax 损失函数了。

参考逻辑回归具体推导过程

参考Softmax 回归推导具体过程

互熵损失函数的通用的标准形式： 

取对数是为了方便计算极大似然估计，因为在MLE中，直接求导比较困难，所以通常都是先取对数再求导找极值点。损失函数L(Y,P(Y|X)) 表达的是样本X 在分类Y的情况下，使概率P(Y|X)达到最大值（换言之，就是利用已知的样本分布，找到最有可能（即最大概率）导致这种分布的参数值；或者说什么样的参数才能使我们观测到目前这组数据的概率最大）。因为log函数是单调递增的，所以logP(Y|X)也会达到最大值，因此在前面加上负号之后，最大化P(Y|X)就等价于最小化LL了。

逻辑回归的P(Y=y|x)表达式如下（为了将类别标签y统一为1 和0 ）：

从上面的推导过程可以得出：互熵损失 （Cross Entropy Loss，Softmax Loss）的本质是最大似然估计MLE。

最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。在线性回归中，它假设样本和噪声都服从高斯分布（中心极限定理），最后通过极大似然估计（MLE）可以推导出最小二乘式子。最小二乘的基本原则是：最优拟合直线应该是使各点到回归直线的距离和最小的直线，即平方和最小。

平方损失（Square loss）通用的标准形式如下： 

当样本个数为n时，此时的损失函数为：

Y−f(X) 表示残差，整个式子表示的是残差平方和 ，我们的目标就是最小化这个目标函数值，即最小化残差的平方和。

在实际应用中，我们使用均方差（MSE：mean square error）作为一项衡量指标，公式如下：

参考线性回归推导过程

从上面的推导过程可以得出：平方损失（Square Loss）的本质也是最大似然估计MLE。

面试中被问到的MSE和CE问题：

训练神经网络时，你经常用哪一个？

这是一个小坑，先要区分问题是分类还是回归！如果是回归问题，用MSE，如果是分类问题，一般用CE。

为什么呢？

因为MSE容易发生梯度消失问题，而CE消去了导致梯度错误消失的因子，则不会。

指数损失函数的通用标准形式是： 

exp-loss，主要应用于 Boosting 算法中，在Adaboost 算法中，经过 m 次迭代后，可以得到 fm(x)：

Adaboost 每次迭代时的目的都是找到最小化下列式子的参数α和G： 

易知，Adabooost 的目标式就是指数损失，在给定n个样本的情况下，Adaboost 的损失函数为：

关于Adaboost的详细推导介绍，可以参考Wikipedia：AdaBoost或者李航《统计学习方法》P145。

0-1 损失函数 

绝对值损失函数 

上述几种损失函数比较的可视化图像如下：

SVM 和 Softmax 分类器是最常用的两个分类器。 

SVM将输出f(xi,W) 作为每个分类的评分；

与SVM 不同，Softmax 分类器可以理解为逻辑回归分类器面对多个分类的一般话归纳。其输出为归一化的分类概率，更加直观，且可以从概率上解释。

在Softmax分类器中，函数映射f(xi,W)保持不变，但将这些评分值看做每个分类未归一化的对数概率，且将铰链损失（hinge loss）替换为 交叉熵损失(cross-entropy loss)，公式如下:

或等价的：

fj表示分类评分向量f中的第i 个元素，和SVM一样，整个数据集的损失值是数据集中所有样本数据的损失值Li的均值和正则化损失之和。

概率论解释: 

解释为给定数据xi和W参数，分配给正确分类标签yi的归一化概率。

实际操作注意事项——数值稳定: 编程实现softmax函数计算的时候,中间项efyi和 ∑jefj因为存在指数函数，所以数值可能非常大，除以大数值可能导致数值计算的不稳定，所以得学会归一化技巧。若在公式的分子和分母同时乘以一个常数C，并把它变换到求和之中,就能得到一个等价公式:

C的值可自由选择，不会影响计算结果，通过这个技巧可以提高计算中的数值稳定性。通常将C设为：

该技巧就是将向量f中的数值进行平移,使得最大值为0。

准确地说，SVM分类器使用的是铰链损失（hinge loss），有时候又被称为最大边界损失（max-margin loss）。Softmax分类器使用的是交叉熵损失（corss-entropy loss）。Softmax分类器的命名是从softmax函数那里得来的，Softmax函数将原始分类评分变成正的归一化数值，所有数值和为1，这样处理后交叉熵损失才能应用。

举例：图像识别

针对给出的图像，SVM分类器可能给你的是一个[−2.85, 0.86, 0.28]对应分类“猫”，“狗”，“船”，而softmax分类器可以计算出这三个标签的”可能性“是[0.016, 0.631, 0.353]，这就让你能看出对于不同分类准确性的把握。

这里Hinge Loss计算公式为：

这里 Δ是一个阈值，表示即使误分类，但是没有达到阈值，也不存在损失 。上面的公式把错误类别 (j≠yi) 都遍历一遍，求值加和。

设 xi 的正确类别是”船”，阈值 Δ=1  ，则对应的Hinge loss 为：

下图是对Δ的理解，蓝色表示正确的类别，Δ表示一个安全范围，就算是有其他的得分，只要没有到达红色的Δ范围内,，对损失函数都没有影响。这就保证了SVM 算法的解的稀疏性。

而Softmax 损失则是对向量 fyi 指数正规化得到概率，再求对数即可。 

联系：

1、SVM和LR都可以处理分类问题，且一般都用于处理线性二分类问题，在改进后都可以处理多分类问题。

2、两个方法都可以增加不同的正则化项，如L1、L2等。所以在很多实验中，两种算法的结果是很接近的。

区别：

1、从目标函数来看，区别在于逻辑回归采用的是 cross entropyloss，SVM采用的是hinge loss，这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。

2、SVM的处理方法是只考虑support vectors，也就是和分类最相关的少数点，去学习分类器。而逻辑回归是通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权重。

3、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相对来说复杂一些，SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离，这个在进行复杂核函数计算时优势很明显，能够大大简化模型和计算。

机器学习作为一种优化方法，学习目标就是找到优化的目标函数——损失函数和正则项的组合；有了目标函数的“正确的打开方式”，才能通过合适的机器学习算法求解优化。

不同机器学习方法的损失函数有差异，合理理解各种损失优化函数的的特点更有利于我们对相关算法的理解。

机器学习中的目标函数、损失函数、代价函数有什么区别 ?https://www.zhihu.com/question/52398145/answer/209358209

机器学习中的损失函数 （着重比较：hinge loss vs softmax loss）https://blog.csdn.net/u010976453/article/details/78488279