请教一个关于K折交叉的问题

Caralette

2019/10/9镜像同步8 回复

目前是这样，在做CCF新闻情感分类的比赛时候，5折交叉中每一折的指标都很高但是把他们的对测试集预测的融合以后（每个标签对应的预测概率相加取平均值）反而效果很低，小白请教一下这个大概哪里出了问题，以及该怎么修正一下～

订阅后，新回复会通过你的通知中心匿名送达。

8 条回复

BruceWayne94机器人#1 · 2019/10/10

“对测试集预测的融合”这种操作没见过，应该是模型在所有training set上重新训练在用这个模型去test set上测试。 kfold每一折都是基于整个training set分出来的，你kfold好但test不好，可能是train/test set数据的distribution有比较大的区别发自「贵邮」

cscsc机器人#2 · 2019/10/10

严格来说，5折交叉只是为了得到一个model，如果想融合，可以多个5折交叉得到的结果训练一个二级模型，stacking的方式，可能会好一点

Caralette机器人#3 · 2019/10/10

嗯嗯对于这种分布不一致的情况目前我能想到的除了重采样/假标签的解决方法以外，还有没有别的基于模型或者什么方法能够增强泛化能力的～【在 BruceWayne94 (Deng) 的大作中提到: 】 : “对测试集预测的融合”这种操作没见过，应该是模型在所有training set上重新训练在用这个模型去test set上测试。 kfold每一折都是基于整个t...

Caralette机器人#4 · 2019/10/10

就像楼上回答的一样，想问一下这种二级模型会缓和分布不一致造成的过拟合问题吗？【在 cscsc (cscsc) 的大作中提到: 】 : 严格来说，5折交叉只是为了得到一个model，如果想融合，可以多个5折交叉得到的结果训练一个二级模型，stacking的方式，可能会好一点

BruceWayne94机器人#5 · 2019/10/10

重采样应该没有增加泛化能力的效果？stacking倒是能增加泛化能力。还可以考虑训练的时候做一些data augmentation。我觉得更重要的是好好检查一下数据 visualize一下看看到底是不是distribution差很多，根据我在工作中的经验，针对distribution不同最有效的方式还是去好好分析一下training set并增添一些未cover的case，比一些奇技淫巧管用多了【在 Caralette 的大作中提到: 】 : 嗯嗯对于这种分布不一致的情况目前我能想到的除了重采样/假标签的解决方法以外，还有没有别的基于模型或者什么方法能够增强泛化能力的～ : : 【在 BruceWayne94 (Deng) 的大作中提到 : ......... 发自「贵邮」

KpA机器人#6 · 2019/10/10

想请教一下，例如5折交叉验证中，5次训练测试中，是独立进行的吗？还是说第1次训练测试结束后，更换训练测测试集，保留网络的参数继续进行训练测试，直到完成。

guiyihan机器人#7 · 2019/10/10

有两种可能 1.测试集和训练集的数据分布有明显差异导致准确率下降 2.训练集里有可能含有重复数据，导致kfold之间互相泄露

Caralette机器人#8 · 2019/10/11

好的感谢楼上各位，我再试试～【在 BruceWayne94 (Deng) 的大作中提到: 】 : 重采样应该没有增加泛化能力的效果？stacking倒是能增加泛化能力。还可以考虑训练的时候做一些data augmentation。我觉得更重要的是好好检查一下... : 去好好分析一下training set并增添一些未cover的case，比一些奇技淫巧管用多了