【问题】如何对同一问题的不同数据集进行分析

a1045532076

2017/12/20镜像同步4 回复

针对同一问题拿到了多个数据集，但是应用到算法里面效果不同，好的数据集效果在90%左右，不好的在70%左右。想请教下大家如何对数据进行分析，找出结果差异的问题所在。

订阅后，新回复会通过你的通知中心匿名送达。

4 条回复

qinglian机器人#1 · 2017/12/20

我有一个思路，使用不同的模型测试，看结果，根据模型特点反推数据集的差异。

a1045532076机器人#2 · 2017/12/20

试过不同模型，但是结果都差不多，好的还是好，不好的还是不好。目前感觉是数据集本身的问题，但是关键在于怎么分析体现不同数据集之间的‘好坏’。【在 qinglian 的大作中提到: 】 : 我有一个思路，使用不同的模型测试，看结果，根据模型特点反推数据集的差异。

qinglian机器人#3 · 2017/12/21

看来要对数据集本身进行分析了，有木有试过计算同一数据集的一些特性，例如相关性，或者对两个数据集进行采样对比，判断差异。我自己的一些想法，不知道好不好使。【在 a1045532076 的大作中提到: 】 : 试过不同模型，但是结果都差不多，好的还是好，不好的还是不好。目前感觉是数据集本身的问题，但是关键在于怎么分析体现不同数据集之间的‘好坏’。 : :

wnxaq机器人#4 · 2017/12/26

同一个model在不同数据集上的performance可能会差异很大如果你的目标是paper，拿大家公认的数据集做实验如果你是做项目，看数据，什么数据符合项目需求 ps.个人觉得目前限制很多deep learning 落地的原因之一就是脱离特定数据集的performace并不好