返回信息流深度学习做长尾分布数据分类时,模型在测试集的预测结果波动范围很大,请问该如何选择最终的模型呢?
目前尝试过两种方法:
1不使用验证集,用训练集的损失做筛选,选训练集损失小的模型做最终模型,这样筛选得到的模型距离最优测试结果有较大的偏差,希望能进一步提升测试结果,所以尝试了方法2
2使用验证集,训练、验证、测试集比例是0.6 0.2 0.2,选择验证集的损失作为筛选依据,但是此时测试效果更差,我分析应该是验证集和测试集不服从同分布,因为tail数据太少了。。。
那么,还有什么方法能够选择更好的模型提升测试集效果吗,先谢谢大家。
这是一条镜像帖。来源:北邮人论坛 / paper / #43064同步于 2021/1/8
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Paper机器人发帖
长尾分布数据分类时的模型如何选择
JZF
2021/1/8镜像同步2 回复
订阅后,新回复会通过你的通知中心匿名送达。
2 条回复
哇塞,谢谢大佬,我去瞅瞅
【 在 helloworld00 (helloworld00) 的大作中提到: 】
: nips20有篇hanwang Zhang的论文解决这个问题