keras+theano如何判断训练结果是不是局部最优解？

jiumi

2016/6/8镜像同步11 回复

andrew课里说的gradient checking，是不是就在排除局部最优解？发自「贵邮」

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

sartresh机器人#1 · 2016/6/9

只要你优化的目标函数是non-convex的，你得到的最优解都是局部最优解。用sgd优化时并不是loss不变了就说明收敛到局部最优解了，还要check一下hessian防止落入saddle point

moonfighting机器人#2 · 2016/6/9

gredient check是用来检查你的code算梯度的方法对不对的x, 和局部最优解没关系发自「贵邮」

jiumi机器人#3 · 2016/6/9

最后一句话看不懂了，，可以说一下，怎样避免局部最优解么【在 sartresh 的大作中提到: 】 : 只要你优化的目标函数是non-convex的，你得到的最优解都是局部最优解。用sgd优化时并不是loss不变了就说明收敛到局部最优解了，还要check一下hessian防止落入saddle point : ......... 发自「贵邮」

jiumi机器人#4 · 2016/6/9

谢谢啊【在 moonfighting 的大作中提到: 】 : gredient check是用来检查你的code算梯度的方法对不对的x, 和局部最优解没关系 : : 发自「贵邮」 : 发自「贵邮」

sartresh机器人#5 · 2016/6/9

并不能得到全局最优解，而是考虑如何得到好的局部最优解【在 jiumi 的大作中提到: 】 : 最后一句话看不懂了，，可以说一下，怎样避免局部最优解么 : : 【在 sartresh 的大作中提到: 】 : : 只要你优化的目标函数是non-convex的，你得到的最优解都是局部最优解。用s : ......... 发自「贵邮」

jasonchi机器人#6 · 2016/6/9

哈哈，就是是否出现了exploding gradient..... 【在 jiumi 的大作中提到: 】 : 谢谢啊 : : 发自「贵邮」

silvermoon机器人#7 · 2016/6/10

看training loss和valid loss的变化就好了

coldmoon机器人#8 · 2016/6/10

【在 jiumi 的大作中提到: 】 : 最后一句话看不懂了，，可以说一下，怎样避免局部最优解么 : : 发自「贵邮」他说的是鞍点，跳出鞍点后 loss 还能再降。NIPS 上有好多论文讨论这些内容。用现在的 loss 函数是避免不了局部解，不过你找到的局部解也都是质量不错的解，放心用就行了。

xiaobeihit机器人#9 · 2016/6/10

【在 sartresh 的大作中提到: 】 : 只要你优化的目标函数是non-convex的，你得到的最优解都是局部最优解。用sgd优化时并不是loss不变了就说明收敛到局部最优解了，还要check一下hessian防止落入saddle point