【分享】在跑VGG的时候，损失和精度后期不断出现震荡，有什么办

是不是学习率有点大了

【 在 lang2515 的大作中提到: 】 : 是不是学习率有点大了 谢谢，我回去改一下，看看是这个问题吗。谢谢

调学习率和步长

【 在 zhangyuheby 的大作中提到: 】 : 调学习率和步长 谢谢，我去试试。谢谢

learning rate 太大会导致这种现象，训练VGG的时候可以先用一个比较大的lr训练到一个比较好的位置，将learningrate 乘上0.1继续训练，循环直至收敛（目测楼主用的tflearn，尝试用staircase=True的SGD），还有就是目测楼主的数据量不大，train accuracy和test accuracy可以收敛到1附近，说明model capacity是足够的，可以尝试增加regulation strength，包括增加l2，l1正则化参数，增加dropout，做data argument等等，另外，batch size太小也可能会导致这种现象

【 在 icybee 的大作中提到: 】 : learning rate 太大会导致这种现象，训练VGG的时候可以先用一个比较大的lr训练到一个比较好的位置，将learningrate 乘上0.1继续训练，循环直至收敛（目测楼主用的tflearn，尝试用staircase=True的SGD），还有就是目测楼主的数据量不大，train accuracy和test accuracy可以收敛到1附近，说明model capacity是足够的，可以尝试增加regulation strength，包括增加l2，l1正则化参数，增加dropout，做data argument等等，另外，batch size太小也可能会导致这种现象 是因为learning rate 过大导致cost function的值一直在那个optima那里徘徊吗？

试试带衰减的lr，后期样本均一没偏的话就lr和step的事吧

学习率和步长有啥区别吗 【 在 zhangyuheby (【加入意涵团】成为offer收割机) 的大作中提到: 】 : 调学习率和步长 通过『我邮2.0』发布