ROC曲线交叉验证

Question

如何生成交叉验证的ROC曲线？

对于单次测试，我认为我应该对SVM的分类分数进行阈值来生成ROC曲线。

但我不清楚如何为交叉验证生成它？

Answer 1

作为后续Backlin：

在结果对于k倍或离开正时的模型的交叉验证显示不稳定的不同运行的变化。这是有价值的信息。

• 当然，您可以汇总结果并生成一个ROC。
• 但是你也可以绘制一组曲线
  参见例如。 R包ROCR
• 或计算例如中位数和IQR在不同的阈值，并构建一个描述这些变化的乐队。
  下面是一个示例：阴影区域是在8次交叉验证的125次迭代中观察到的四分位间距范围。薄的黑色区域包含一个特定阈值的观察到的特异性 - 敏感性对的一半，中值用x标记（忽略+标记）。

Answer 2

完成一轮交叉验证后，所有的观察结果都被分类一次（尽管采用不同的模型），并给出了估计的归属类别概率或类似统计量。这些概率可用于以与外部测试集上获得的概率完全相同的方式生成ROC曲线。只要将分类阈值从0变为1并且您的设置全部设置，就可以计算分类错误率。

但是，通常您希望执行多轮交叉验证，因为性能因褶皱的分割方式而异。我不明白如何计算所有回合的平均ROC曲线。我建议将他们全部绘制并计算平均AUC。