TP，FP，TN，FN，FAR，FRR，HTER等常见实验指标理解

目录

一、TP，TN，FP，FN

二、FAR，FRR

三、Recall，Precision，Accuracy

四、ROC，TPR，FPR，AUC

五、HTER，EER

 六、APCER，NPCER（BPCER），ACER

        前面的字母表示这次预测的结果是正确还是错误（T就是预测结果是对的，F就是预测结果是错误的），后面的字母表示这次预测结果（P就是预测的结果是正类，N就是预测的结果为负类）。

        比如TP，表面意思是正确（True）的正例（Positive），即标签是x，预测也是x （P和N表示两种类别），全称叫True Positive，其它三个同理。

        FAR和FRR全称分别为False Accept Rate（误识率）和False Rejection Rate（拒识率）。

        FAR：错误地接受，即将错误的判别为正确的，实际的标签为N，但是预测错误为P，所以对应FP。

        数据集中标签为N，但预测为P的样本占数据集中所有标签为N的比例。

        注：有的论文也会将FAR写作FMR（False match rate）。

        FRR：错误地拒绝，即将正确的判别为错误的，实际的标签为P，但是预测错误为N，所以对应FN。

        数据集中标签为P，但预测为N的样本占数据集中所有标签为P的比例。 

        注：有的论文也会将FRR写作FNMR（False non-match rate)。

        Recall：召回率，即实际为P的样本中预测为P的样本的占比，越大越好。

                可以得到：

        Precision：准确率、精度，即从预测的角度出发，被分为正例的样本中实际为正例的比例。

        Accuracy：准确率，即所有样本中预测正确的占比，计算方式为被分对的样本数除以总的样本数，通常来说，正确率越高，分类器越好。但是在正负样本不平衡的情况下，这个评价指标有很大缺陷。如在互联网广告里面，点击的数量是很少的，一般只有千分之几，如果用acc，即使全部预测成负类（不点击）acc也有 99% 以上，没有意义。

        ROC：受试者工作特征曲线(receiver operating characteristic curve，简称ROC曲线)，又称为感受性曲线(sensitivity curve)。   

        TPR：真正类率，即所有正样本中被分类器预测为正样本的个数。

        FPR：假正类率，即所有负样本中被分类器预测为正样本的个数。

        ROC曲线，其横坐标是FPR,纵坐标是TPR。

        需要注意，虽然TPR和FPR看起来没有关系，因为一个计算的是正样本，一个计算的是负样本，而样本总数是固定的。但阈值的选定会影响TPR和FPR的值。

        在理想情况下，我们都希望一个分类器能够将所有的正类均正确分类对应TPR=1，并将所有的负类也正确分类对应FPR=0。因此，ROC曲线越靠拢（0，1）点，越偏离45度对角线越好。

        ROC本质上就是在设定某一阈值之后，计算出该阈值对应的TPR 和 FPR，便可以绘制出ROC曲线上的一个点。其正是通过不断移动分类器的“正例阈值”来生成曲线上的一组关键点的。

        AUC(Area Under Curve)：为ROC曲线下方的面积大小。显然，AUC越大，预测效果越好，一般AUC取值范围一般在0.5和1之间。

        使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。