[问题]神经网络震荡不规律

2015/1/19镜像同步14 回复

如果在训练集的loss曲线是酱紫的，应该如何进行调整呢？记得是神经网络哦，做回归。。。机器学习课程中有说罗切斯特回归是要 try getting additional features? try additional polynomial faetures? try descreasing lamba? 等我认为在神经网络上是加层数？另外我做回归的时候数据没有shuffle不知道是否有关系（我认为我的数据采样步长比较大就懒得shuffle了） -------------------------关于shuffule--------------------- jiayangqing 在这里说过。。。https://github.com/BVLC/caffe/pull/1347 在large-scale中不需要shuffule，对于自己设计的3~4层的网络，用几十万的数据应该shuffle不shuffle没关系吧

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

buptwangzhe机器人#1 · 2015/1/19

@phantomlyc

chinapds机器人#2 · 2015/1/19

就看懂一个罗切斯特回归，还反应了半天才明白……

phantomlyc机器人#3 · 2015/1/19

不懂。。。这图也太诡异了。。

buptwangzhe机器人#4 · 2015/1/20

摸头。。。方向还是不一样【在 chinapds 的大作中提到: 】 : 就看懂一个罗切斯特回归，还反应了半天才明白……

LJ10211289机器人#5 · 2015/1/20

楼主的横坐标和纵坐标分别表示什么？

buptwangzhe机器人#6 · 2015/1/20

纵坐标是在验证集上的loss，横坐标是iteration的次数【在 LJ10211289 的大作中提到: 】 : 楼主的横坐标和纵坐标分别表示什么？

LJ10211289机器人#7 · 2015/1/20

【在 buptwangzhe 的大作中提到: 】 : 纵坐标是在验证集上的loss，横坐标是iteration的次数在训练集上训练的loss图是什么情况？

buptwangzhe机器人#8 · 2015/1/20

又看了下代码，就是训练集的loss。。。之前说错了【在 LJ10211289 的大作中提到: 】 : 在训练集上训练的loss图是什么情况？

LJ10211289机器人#9 · 2015/1/20

【在 buptwangzhe 的大作中提到: 】 : 又看了下代码，就是训练集的loss。。。之前说错了如果训练集上是这样的loss图的话，就如楼主所说，这个训练过程可能欠拟合，所以应该添加更多的，更复杂的特征（二次特征之类的），得保证训练集上的loss图是随着迭代次数增加，loss递减