在做目标检测任务的时候，通常会制定规则来评估性能，就如下图所示，后面会慢慢道来其中的原理。

在目标检测中，通常以IoU阈值作为正负样本的划分标准。T表示预测对了，F表示预测错了，P和N表示预测值。

P-R曲线是以Precision和Recall为轴所画的曲线，前面我们用与GT的IoU阈值来划分了预测的正负样本，及P和N。接着以置信度分数作为划分，大于阈值的作为P，反之为N。如果两者两者相等就是TP或TN，不相等就为FP或FN。

如图，假设置信度阈值取0.65，那么TP就是最上面4个，TN就是线下蓝色的1个，FN和FP各1个。计算出来的结果为右方表格的rank5那一行，置信度阈值取不同的值，可以算出不同的PR。（预测的时候只有置信度可以拿来参考了，所以要设置不同的置信度，平衡好查准率和查全率）

以此类推：

然后画出PR曲线：但是需要滤除一些重复的，Recall重复的时候只需要保留最大的Precision查准率。

上图中，用阴影部分框住的面积就是AP，计算方式如下： 用两个相邻横坐标的间隔乘以上方最大的Precision值。 (0.14-0)x1.0+(0.28-0.14)x1.0+(0.42-0.28)x1.0+(0.57-0.42)x1.0+(0.71-0.57)x0.71=0.6694

mAP就是将所有类的AP求和取平均得到的，但是很多时候说的AP就是mAP。下面是coco官网上的原话： AP is averaged over all categories. Traditionally, this is called "mean average precision" (mAP). We make no distinction between AP and mAP (and likewise AR and mAR)

现在开始介绍：

就是上图中所述，计算一张图片中选取的框的Recall。

有这么多指标，自己主要关注哪些部分：voc或者coco的指标，都有论文在使用。如果对目标定位精度比较高的话，可以看IoU0.75的AP。然后根据自己所检测目标的尺度，来看不同尺度的AP。一般看AR10和AR100，适当的可以调整每张图片中的目标检测个数，提高目标检测的效率。

推荐一个视频：Mean Average Precision (mAP) Explained and PyTorch Implementation。虽是英文的，但是语速慢和词汇简单而且很易懂。

ROC的全称是Receiver Operating Characteristic Curve，中文名字叫“受试者工作特征曲线”，该曲线的横坐标为假阳性率（False Positive Rate, FPR），纵坐标为真阳性率（True Positive Rate, TPR）。

ROC曲线也是通过不断移动分类器的“阈值”来生成曲线上的一组关键点的：

ROC曲线有一个巨大的优势就是，当正负样本的分布发生变化时，其形状能够基本保持不变，而P-R曲线的形状一般会发生剧烈的变化，因此该评估指标能降低不同测试集带来的干扰，更加客观的衡量模型本身的性能。一般的话，可能大多数都是在各个数据集上跑mAP，针对数据集来评价模型。

AUC（Area under roc Curve）面积，这个概念其实很简单，就是指ROC曲线下的面积大小，而计算AUC值只需要沿着ROC横轴做积分就可以了。真实场景中ROC曲线一般都会在y=x直线的上方，所以AUC的取值一般在0.5~1之间。AUC的值越大，说明该模型的性能越好。

几乎所有评估模型的指标都来自sklearn库下面的metrics，包括计算召回率、精确率、ROC等