导读召回率 准确率~导读：在真实场景中，模型很少能成功地预测所有的内容。我们知道应该使用测试集的数据来评估我们的模型。但是这到底是如何工作的呢？简短但不是很有用的答案是，这取决于模型。人们已经提出了各种评分函数，它可用于在所有可能的场景中评估训练模型。好消息是...

导读：在真实场景中，模型很少能成功地预测所有的内容。我们知道应该使用测试集的数据来评估我们的模型。但是这到底是如何工作的呢？

简短但不是很有用的答案是，这取决于模型。人们已经提出了各种评分函数，它可用于在所有可能的场景中评估训练模型。好消息是，很多评分函数实际上是scikit-learn的metrics模块的一部分。

让我们快速了解一些最重要的评分函数。

作者：阿迪蒂亚·夏尔马（Aditya Sharma）、维什韦什·拉维·什里马利（Vishwesh Ravi Shrimali）、迈克尔·贝耶勒（Michael Beyeler）

：华章科技

在二值分类任务中只有两个不同的类标签，有许多不同的方法来度量分类性能。一些常见的评估指标如下所示：

accuracy_score：准确率（accuracy）计算测试集中预测正确的数据点数，并返回正确预测的数据点的比例。以将片分类为猫或狗为例，准确率表示正确分类为包含猫或狗的片比例。该函数是最基本的分类器评分函数。

precision_score：精度（precision）描述了一个分类器不把包含狗的片标记为猫的能力。或者说，在分类器认为测试集所有包含猫的片中，精度是实际包含一只猫的片比例。

recall_score：召回率（recall，或者敏感度）描述了一个分类器检索包含猫的所有片的能力。或者说，测试集所有包含猫的片中，召回率是正确识别为猫的片比例。

假设我们有一些ground truth（正确与否取决于我们的数据集）类标签，不是0就是1。我们使用NumPy的随机数生成器随机生成数据点。显然，这意味着只要我们重新运行代码，就会随机生成新数据点。

我们希望你能够运行代码，并总是得到和书中相同的结果。实现此目的的一个很好的技巧是固定随机数生成器的种子。这会保证你在每次运行脚本时，都以相同的方式初始化生成器：

1）我们使用下列代码可以固定随机数生成器的种子：

2）然后，选取（0, 2）范围内的随机整数，我们可以生成0或1的5个随机标签：

Out:

在文献中，这两类有时也被称为正样例（类标签是1的所有数据点）和负样例（其他所有数据点）。

假设我们有一个分类器试预测之前提到的类标签。为方便讨论，假设分类器不是很聪明，总是预测标签为1。通过硬编码预测标签，我们可以模拟这种行为：

Out:

我们预测的准确率是多少？

如前所述，准确率计算测试集中预测正确的数据点数，并返回测试集大小的比例。我们只是正确地预测了第二个数据点（实际标签是1）。除此之外，实际标签是0，而我们预测为1。因此，我们的准确率应该是1/5或者0.2。

准确率指标的一个简单实现可总结为：预测的类标签与实际类标签相符的所有情况。

Out:

scikit-learn的metrics模块提供了一个更智能、更便捷的实现：

Out:

这并不难，不是吗？但是，要理解精度和召回率，我们需要对I型错误和II型错误有大致的了解。让我们来回忆一下，通常把类标签为1的数据点称为正样例，把类标签为0（或–1）的数据点称为负样例。然后，对特定数据点进行分类，可能会产生以下4种结果之一，如表3-1的混淆矩阵所示。

表3-1 4种可能的分类结果

让我们进行一下分析。如果一个数据点实际是正样例，并且我们也将其预测为正样例，那么我们就预测对了！在这种情况下，将结果称为真阳性。如果我们认为数据点是正样例，但是该数据点实际是一个负样例，那么我们错误地预测了一个正样例（因此就有了假阳性这个术语）。

类似地，如果我们认为数据点是负样例，但是该数据点实际是一个正样例，那么我们就错误地预测了一个负样例（假阴性）。最后，如果我们预测了一个负样例，而且该数据点确实是一个负样例，那么我们就找到了一个真阴性。

在统计学假设检验中，假阳性也称为I型错误，而假阴性也称为II型错误。

让我们在模拟数据上快速计算一下这4个评估指标。我们有一个真阳性，实际标签是1，并且我们预测为1：

Out:

类似地，一个假阳性是我们预测为1，但ground truth却是0：

Out:

现在，我相信你已经掌握了窍门。但是我们必须做数学运算才能知道预测的负样例吗？我们的并不是很聪明的分类器从不会预测为0，因此（y_pred==0）应该不会是真的：

Out:

Out:

让我们再来绘制一个混淆矩阵，如表3-2所示。

表3-2 混淆矩阵

要保证我们做的都是正确的，让我们再计算一下准确率。准确率应该是真阳性数据点数量加上真阴性数据点数量（即所有正确预测的数据点数）除以数据点总数：

Out:

成功了！接着给出精度，为真阳性数据点数除以所有正确预测的数据点数：

Out:

在我们的例子中，精度并不比准确率好。让我们用scikit-learn查看一下我们的数学运算：

Out:

最后，召回率是我们正确分类为正样例占所有正样例的比例：

Out:

Out:

召回率太棒了！但是，回到我们的模拟数据，很明显，这个优秀的召回率得分仅仅是运气好而已。因为在我们的模拟数据集中只有一个标签为1，而我们碰巧正确地对其进行了分类，所以我们得到了一个完美的召回率得分。

这是否就意味着我们的分类器是完美的呢？未必如此！但是我们却发现了3个有用的评估指标，似乎从互补的方面度量了我们分类器性能。

在涉及回归模型时上述评估指标就不再有效了。毕竟，我们现在预测的是连续输出值，而不是区分分类标签。幸运的是，scikit-learn还提供了一些其他有用的评分函数：

mean_squared_error：对于回归问题，最常用的误差评估指标是对训练集中每个数据点的预测值和真实目标值之间的平方误差（所有数据点的平均值）进行度量。

explained_variance_score：一个更复杂的评估指标是度量一个模型对测试数据的变化或分配的可解释程度。通常使用相关系数度量可释方差的数量。

r2_score：R2得分（R平方）与可释方差得分密切相关，但使用一个无偏方差估计。它也被称为决定系数（coefficient of determination）。

让我们创建另一个模拟数据集。假设我们的观测数据看起来像是x值的一个sin函数。我们从生成0到10之间等间距的100个x值开始。

可是，真实数据总是有噪声的。为了尊重这一事实，我们希望目标值y_true也是有噪声的。我们通过在sin函数中加入噪声来实现：

这里，我们使用NumPy的rand函数在[0,1]范围内加入均匀分布的噪声，然后通过减去0.5将噪声集中在0周围。因此，我们有效地将每个数据点上下抖动最大0.5。

假设我们的模型足够聪明，能够计算出sin(x)的关系。因此，预测的y值如下所示：

这些数据是什么样子的呢？我们可以使用matplotlib对其进行可视化：

Out:

生成的线如3-2所示。

▲3-2 使用matplotlib生成的可视化结果

确定我们的模型预测性能最直接的评估指标是均方误差。对于每个数据点，我们看预测值和实际y值之间的差异，然后对其进行平方。再计算所有数据点的平方误差的平均值：

Out:

为了方便计算，scikit-learn提供了自有的均方误差实现：

Out:

另一个常见的评估指标是测量数据的分散或变化：如果每个数据点都等于所有数据点的均值，那么数据中就没有分散或变化，我们就可以用一个数据值来预测所有未来的数据点。这将是世上最无聊的机器学习问题。

但我们发现这些数据点通常会遵循一些我们想要揭示的未知的、隐藏的关系。在前面的例子中，这就是导致数据分散的y=sin(x)关系。

我们可以测量能够解释的数据（或方差）的分散程度。这通过计算预测标签和实际标签之间的方差来实现；这是我们的预测无法解释的所有方差。如果用数据的总方差对这个值进行归一化，我们就得到未知方差的分数（fraction of variance unexplained）：

Out:

因为这个评估指标是一个分数，其值在0到1之间。我们可以从1中减去这个分数，得到可释方差的分数：

Out:

让我们用scikit-learn验证我们的数学运算：

Out:

完全正确！最后，我们可以计算出所谓的决定系数或者R2。R2与可释方差分数密切相关，并将先前计算的均方误差和数据中的实际方差进行比较：

Out:

通过scikit-learn也可以获得同样的值：

Out:

我们的预测与数据拟合得越好，与简单的平均数相比，R2得分的值越接近1。R2得分可以取负值，因为模型预测可以是小于1的任意值。一个常量模型总是预测y的期望值，独立于输入x，得到的R2得分为0：

Out:

关于作者：阿迪蒂亚·夏尔马（Aditya Sharma），罗伯特·博世（Robert Bosch）公司的一名高级工程师，致力于解决真实世界的自动计算机视觉问题。曾获得罗伯特·博世公司2019年人工智能编程马拉松的首名。

维什韦什·拉维·什里马利（Vishwesh Ravi Shrimali），于2018年毕业于彼拉尼博拉理工学院（BITS Pilani）机械工程专业。此后一直在BigVision LLC从事深度学习和计算机视觉方面的工作，还参与了官方OpenCV课程的创建。

迈克尔·贝耶勒（Michael Beyeler），是华盛顿大学神经工程和数据科学的博士后研究员，致力于仿生视觉的计算模型研究，以为盲人植入人工视网膜（仿生眼睛），改善盲人的感知体验。他的工作属于神经科学、计算机工程、计算机视觉和机器学习的交叉领域。

本文摘编自《机器学习：使用OpenCV、Python和scikit-learn进行智能像处理（原书第2版）》，经出版方授权。

延伸阅读《机器学习》（原书第2版）

推荐语：一本基于OpenCV4和Python的机器学习实战手册，既详细介绍机器学习及OpenCV相关的基础知识，又通过具体实例展示如何使用OpenCV和Python实现各种机器学习算法，并提供大量示例代码，可以帮助你掌握机器学习实用技巧，解决各种不同的机器学习和像处理问题。

混淆矩阵

T

F

TP

FP

F

FN

TN

TP：表示真实结果为真，判断结果也是为真，判断正确

FP：表示真实结果为假，但是被误判为真，判断错误

FN：真实结果为真，但是被误判为假，判断错误

TN：表示真实结果为假，判断结果也是为假，判断正确

准确率(Accuracy)，即判断结果为正确占总样本的百分比，表达式如下：

准确率=（TP+TN）/ (TP+TN+FP+FN)，

从该表达式可以看出分子包括了TP和TN，即含了检测出与真实结果一致的情况，但这里就含有真实正样本和真实负样本两种情况，如果两者样本数偏差较大，如合格品大概为95%，次品为5%，如果都预测为合格，那么准确率就高达了95%，这样的准确率不能很好反映模型的真实效果，所以还需要后面的几个指标。

精确率(Precision)，指真实结果为真占所有判断结果为真的样本的概率，表达式如下：

精确率=TP / (TP+FP)

一般的人会比较容易混淆精确率和准确率两个概念。精确率是对正样本的判断准确度，而准确率是对整体样本的判断准确程度，其中的区别可以从表达式能清楚可知。

召回率(Recall)，指真实为真的样本占所有被判断为真样本的比例。

表达式为召回率=TP/(TP+FP)

比如：样本中共有10个鸡蛋，其中有4个是坏鸡蛋。设计模型进行检测找出坏鸡蛋，最后找到了5个，但是其中只有3个是坏鸡蛋。那么模型的精确率为3/5=60%，即找到了5只鸡蛋中，只找对了3个。

模型的召回率是3/4=75%，需要找到的是4个坏鸡蛋，但是只找到3个。

这个是关于召回率和精确率的例子，可以帮助大家对概念的理解。

F1值，即F1-Score。前面提到的精确率，又叫查准率，召回率又叫查全率。在实际的计算中，精确率和召回率往往很难两全其美，所以通过F1值寻找两者的平衡点。

F1值表达式为F1-Score=2*精确率*召回率/(精确率+召回率）

希望能通过本介绍对大家的学习和工作有帮助，欢迎多加。

很多书中都用TP、FP、FN、TN来表示数据的真实情况和预测情况的比例，用一个表来形象地看下数据的真实分布。

真实数据和预测数据分布

也称为正确率，即预测正确的样本占比，包括数据为阳预测为阳和数据为阴预测为阴的数据。即预测了这么多，有多少预测正确。

即 准确率 =（TP+TN）/ 总数据

预测为正类的数据中，预测对的占比。即预测为正数据也为正 / 所有预测为正的数据。即第一单元格数据 / 第一行数据

即 精确率 = TP / (TP+FP)

所有真实为正类的数据中，预测对的占比。 即预测为正数据也为正 / 所有真实的正类数据。即第一单元格数据 / 第一列数据

即 召回率 = TP / (TP+FN)