matlab实现ROC曲线 |
您所在的位置：网站首页 › roc定义 › matlab实现ROC曲线 |
matlab实现ROC曲线
|
概述
ROC曲线是机器学习中的一种评价方式，是receiver operating characteristic curve的缩写，作用是验证训练效果的好坏。本文主要目录为下述： 1. 混淆矩阵 2. FPR和TPR 3. ROC曲线 4. AUC指标 5. matlab代码 1. 混淆矩阵混淆矩阵的起源，源于医学上对肿瘤是否发生的预测，对于预测肿瘤是否发生的结果有四种情况。 如上表， 当预测为良性，真实也为良性时，我们认为预测正确，为TP（真正例）；同理，当预测为良性实际为恶性时，认为是预测失败，为FP（假正例）；当预测为恶性实际为良性，也是预测失败，为FN（假反例）；当预测和真实都为恶性时，预测成功，为TN（真反例）。 可见，上述四种情况有两种预测成功的（TP，TN），两种预测失败的（FT，FN）。上面这个表格就组成了混淆矩阵 2. FPR和TPR在此定义两个公式， FPR表示，在所有的恶性肿瘤中，被预测成良性的比例。称为伪阳性率。其表示随机拿一个恶性的肿瘤样本，有多大概率会将其预测成良性肿瘤。由于是错误预测的概率，所以FPR越小越好。 TPR表示，在所有良性肿瘤中，被预测为良性的比例。称为真阳性率。其表示随机拿一个良性的肿瘤样本时，有多大的概率会将其预测为良性肿瘤。是正确预测的概率，所以TPR越大越好。 3. ROC曲线以FPR为横坐标，TPR为纵坐标，就可以得到下面的坐标系：
考察几个特殊的点。 点(0,1)，即FPR=0，TPR=1。FPR=0说明FP=0，没有假正例。TPR=1说明，FN=0，也就是说没有假反例。所有的预测都正确了。良性的肿瘤都预测为良性，恶性肿瘤都预测为恶性，分类百分之百正确。这也体现了FPR 与TPR的意义。我们本来就希望FPR越小越好，TPR越大越好。点(1,0)，即FPR=1，TPR=0。这个点与上面那个点形成对比，刚好相反。所以这是最糟糕的情况。所有的预测都预测错了。点(0,0)，即FPR=0，TPR=0。也就是FP=0，TP=0。所以这个点的意义是所有的样本都预测为恶性肿瘤。也就是说，无论给什么样本给我，我都无脑预测成恶性肿瘤就是了。点(1,1)，即FPR=1，TPR=1。显然，这个点跟点(0,0)是相反的，这个点的意义是将所有的样本都预测为良性肿瘤。考察完这四个点，我们可以知道，如果一个点越接近左上角，那么说明模型的预测效果越好。如果能达到左上角(点(0,1))，那就是最完美的结果了。 4. AUC指标AUC指模型评估指标，其是基于上面提到的ROC图像，将该图像量化为一个数值，更加简介的表示了模型训练的能力。 其具体表述是指，ROC曲线下的面积。
5. matlab代码 clear all %%输入预测值和真实值 label = [1,1,0,0,1,0,1,1,0,0,0,0,1,1,0]; %真实值 p = [0.8,0.6,0.55,0.4,0.7,0.19,0.7,0.8,0.65,0.02,0.25,0.42,0.78,0.69,0.32]; %预测值 %%初始定义 confu = zeros(2,2); %定义混淆矩阵 x_label=[]; y_label=[]; yy=[]; %定义画图变量 xx=1; %%ROC运算 for value=0:0.01:1 box = zeros(1,size(p,2)); %定义缓存向量 for i=1:size(p,2) if p(i)>=value %判断阈值 box(i) = 1; else box(i) = 0; end if box(i)==0 && label(i)==0 %导入混淆矩阵 confu(2,2) = confu(2,2) + 1; %TN elseif box(i)==0 && label(i)==1 confu(1,2) = confu(1,2) + 1; %FN elseif box(i)==1 && label(i)==0 confu(2,1) = confu(2,1) + 1; %FP elseif box(i)==1 && label(i)==1 confu(1,1) = confu(1,1) + 1; %TP end end TN=confu(2,2); FN=confu(1,2); FP=confu(2,1); TP=confu(1,1); FPR = FP/(FP+TN); %定义式 TPR = TP/(TP+FN); x_label(xx) = FPR; %画图坐标赋值 y_label(xx) = TPR; yy(xx) = FPR; xx=xx+1; end AUC = -1*trapz(x_label,y_label); %求AUC值（曲线的面积） %%画ROC图 figure(1) plot(x_label,y_label); title({'ROC曲线', ['AUC = ', num2str(AUC)]}); xlabel("FPR"); ylabel("TPR"); hold on plot(x_label, yy,'g'); |
【本文地址】