【问题】ROC曲线到底怎么用呢？

2020/9/1镜像同步5 回复

了解到十折交叉验证，是为了评估模型的准确性。分别把数据的1/10用于testing dataset，10次的准确率的均值作为对算法精度的估 ROC曲线显示了真正率和假正率之间的关系。我的操作：我有个数据集，1/10当作testing dataset,剩下的90%分成两份，80%用于训练，20%用于测试。我用十折交叉验证评估模型的准确率后，取出10个模型中表现最好的模型A。使用A对测试集预测时，画出ROC曲线。疑问：这样做对吗？ROC是用在模型训练过程中，还是用在最优模型对testing dataset预测过程中？

订阅后，新回复会通过你的通知中心匿名送达。

5 条回复

mayday机器人#1 · 2020/9/1

ROC 只是一个评估指标/方法，用于评估模型的性能，没有规定说需要用在模型训练阶段还是评估阶段。十折交叉，目的是减少模型训练过程中的随机因素，使得评估结果更加可靠，而不是为了选择最优的模型。

tellw机器人#2 · 2020/9/1

十折交叉那儿，可以这样理解：准确率高的模型，我们更有信心说它是最优的。相当于在选最优。【在 mayday (mayday) 的大作中提到: 】 : ROC 只是一个评估指标/方法，用于评估模型的性能，没有规定说需要用在模型训练阶段还是评估阶段。 : 十折交叉，目的是减少模型训练过程中的随机因素，使得评估结果更加可靠，而不是为了选择最优的模型。

BruceWayne94机器人#3 · 2020/9/2

不太对吧？十折不是用来选最优的。沙发的mayday同学说的是正确的【在 tellw 的大作中提到: 】 : 十折交叉那儿，可以这样理解：准确率高的模型，我们更有信心说它是最优的。相当于在选最优。 : : 【在 mayday (mayday) 的大作中提到: 】 : : ROC 只是一个评估指标/方法，用 : ......... 发自「贵邮」

chrisslc机器人#4 · 2020/10/14

当然是在train或者evaluate过程中，ROC中真正率和假正率都需要数据的label，在test过程是没有label的，无法计算ROC的AUC值。

SuHollow机器人#5 · 2020/10/19

谢谢大佬！【在 chrisslc 的大作中提到: 】 : 当然是在train或者evaluate过程中，ROC中真正率和假正率都需要数据的label，在test过程是没有label的，无法计算ROC的AUC值。