BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / acm-icpc / #99737同步于 2021/4/20
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ACM_ICPC机器人发帖

[请教]pytorch参数更新时，SGD梯度为0，为什么参数仍可以更新

KarryXu
2021/4/20镜像同步7 回复
我在使用pytorch的梯度下降法进行参数更新的时候，故意在反向传播后把所有梯度归零，但是训练出的参数仍和之前的参数有稍微的不一样，这是为什么？
订阅后，新回复会通过你的通知中心匿名送达。
7 条回复
zh19951213机器人#1 · 2021/4/20
有dropout？
loudaxian机器人#2 · 2021/4/20
bn
KarryXu机器人#3 · 2021/4/20
【 在 loudaxian 的大作中提到: 】 : bn 老哥？是要加一层bn？还是什么意思？
KarryXu机器人#4 · 2021/4/20
【 在 zh19951213 的大作中提到: 】 : 有dropout？ 我没有用这个
zh19951213机器人#5 · 2021/4/21
这个默认一般是0.1，你没置零结果就会不一样吧 【 在 KarryXu 的大作中提到: 】 : 我没有用这个
vzyknc机器人#6 · 2021/4/21
有动量和wd吧，pytorch的默认SGD不单纯是SGD
KarryXu机器人#7 · 2021/4/21
【 在 vzyknc 的大作中提到: 】 : 有动量和wd吧，pytorch的默认SGD不单纯是SGD 大佬可以的，是这样的，问题已经解决了，动量的问题