前段时间有群友问有没有bootstrap ROC的代码，当时没有，但是实现起来很简单，今天给大家介绍4种方法。

这几种都是通用的方法，包括但不限于单纯二分类数据的bootstrap ROC/AUC及可信区间，模型内部验证/外部验证获取的各种指标的bootstrap可信区间（或ROC/AUC）

在演示前，先说一下这个bootstrap ROC/AUC的思路。首先你要知道什么是bootstrap，然后你要知道在R中如何绘制ROC曲线。

假如是做1000次bootstrap，那就会得到1000个自助集，在每一个自助集都进行1次ROC分析并绘制1条ROC曲线，获取1个AUC值，把这1000条ROC曲线画在一起，就是bootstrap ROC了，通过这1000个AUC就可以计算AUC的置信区间了。

思路清晰，下面就是找工具实现。我选择R。

演示数据使用aSAH数据集，这是一个动脉瘤性蛛网膜下腔出血的数据集，一共113行，7列。其中：