返回信息流在实际中常常碰到的问题是训练好了一个dl模型并在产品中使用，但是使用过程中会来一些新的数据或者产生一些之前没有的badcase，这样能不能对训练好的模型进行二次或者多次的重复训练？
搜索了一下一些深度学习的框架是可以load模型之后继续训练的，但是存在几个问题：1. 学习率要初始化为很小；2. 很可能在新的数据上过拟合；3. 有人提到这样会覆盖之前的数据训练的权重，也就是说模型可能在原本的数据集上效果变差...
那么请问一下有没有比较好的方法？
感谢各位大佬
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #28637同步于 2018/3/23
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
神经网络能不能在线训练
DerekHu
2018/3/23镜像同步11 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
加svm是什么意思？求解释
【 在 hyx0215 的大作中提到: 】
: 如果是短时间内少量的badcase，可以考虑加SVM，但是时间长了还是要重新tuning 神经网络的。
使用badcase训练确实是并不可行的一种方法，很容易造成过拟合。其实我的意思是一些无法识别的case，或者一些新来的数据进行多次训练
【 在 moonfighting 的大作中提到: 】
: 只用badcase训练？效果会很差
仅限分类任务哈。
就是把最后的全连接层替换成SVM，锁住神经网络，只对SVM进行优化。SVM相比感知机有更强的鲁棒性，并且参数主要取决于困难样本。相比tuning神经网络，训练一个SVM所需的数据量要少得多。
【 在 DerekHu 的大作中提到: 】
: 加svm是什么意思？求解释
把badcase加入到原有训练集重新训练是可行的，一般来说，不需要把原有的训练集全部用上，可以只挑选一部分easy的
【 在 DerekHu 的大作中提到: 】
: 使用badcase训练确实是并不可行的一种方法，很容易造成过拟合。其实我的意思是一些无法识别的case，或者一些新来的数据进行多次训练
我的理解是等于前面相当于特征抽取，然后加载分类器上面进行分类，就等于另外训练一个分类器（svm）来适应之前的特征？
【 在 hyx0215 的大作中提到: 】
: 仅限分类任务哈。
: 就是把最后的全连接层替换成SVM，锁住神经网络，只对SVM进行优化。SVM相比感知机有更强的鲁棒性，并且参数主要取决于困难样本。相比tuning神经网络，训练一个SVM所需的数据量要少得多。