返回信息流梯度下降法能否找到极值点真的得碰运气,比如下面这种情况:
聪明的同学们,你们知道为什么吗?
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #15065同步于 2015/1/7
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
【发现惊人现象】梯度下降法没有找到极值点!!
drx
2015/1/7镜像同步32 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
步长太大了,就像是一步跨太大,扯到那啥了,不出问题(不走的更远)就不错了,还要啥自行车 (捂脸(*/ω\*))
有一种比较好想的做法是,步长逐渐减少……
同学,步长太大了,越接近极值点步长应该越小。梯度下降法固定步长是鸡肋,你可以查一查文献,有种算法叫AdaGrad,自适应步长,性能会好一些。但是梯度下降法就算收敛到极值点也有可能是局部最优。。。