机器学习之AUC、AUPRC、F1等评价指标的含义

您所在的位置:网站首页 auc与f1 机器学习之AUC、AUPRC、F1等评价指标的含义

机器学习之AUC、AUPRC、F1等评价指标的含义

2023-12-18 15:38| 来源: 网络整理| 查看: 265

AUC = 0.506031

AUC(area under the curve)是模型评估指标,特别是二分类模型使用的主要离线评测指标之一。

参考博客,AUC值是ROC曲线与x轴围成的面积。AUC的来源路线:混淆矩阵--ROC曲线--AUC

1.混淆矩阵(二分类) 在这里插入图片描述 T P R ( 真 正 例 概 率 ) = T P T P + F N TPR(真正例概率)={ \frac {TP} {TP+FN}} TPR(真正例概率)=TP+FNTP​ F P R ( 假 正 例 概 率 ) = F P F P + T N FPR(假正例概率)={ \frac {FP} {FP+TN}} FPR(假正例概率)=FP+TNFP​

当阈值(区分类别1,0的值)从1到0慢慢移动,产生很多对 (FPR,TPR)。以FPR为x轴,TFR为y轴的曲线就是ROC曲线,而AUC就是ROC曲线和x轴围成的面积。

在这里插入图片描述 AUC的值表示y=1和y=0的距离,也就是AUC越大,两个数据隔得越开,分类的准确率越大。我的AUC=0.506031,预测的准确率只有50%左右。 在这里插入图片描述 分类器选取阈值不同,分类的结果也会受到影响。使用AUC的话,考虑到了阈值变动,所以评估的效果更好。

AUPRC = 0.616219

PRC曲线是准确率和召回率的点连成的线。AUPRC=PRC曲线和x轴围成的面积。同AUC相同可以作为选取合适阈值的方法。 在这里插入图片描述

Best F1 = 0.780822

F1是分类问题的一个衡量指标。表示准确率(precision)和召回率(recall)的平均数。 F 1 = 2. p r e c i s i o n . r e c a l l p r e c i s i o n + r e c a l l F_1=2.{ \frac {precision.recall} {precision+recall}} F1​=2.precision+recallprecision.recall​

IoU = 0.216904

IoU=预测框和真实框的交并比: I o U = ∣ A ⋂ B ∣ ∣ A ⋃ B ∣ IoU={ \frac {|A \bigcap B|} {|A\bigcup B|}} IoU=∣A⋃B∣∣A⋂B∣​ 在这里插入图片描述



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3