BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #38328同步于 2022/4/7
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖

learning rate与batch size设置

peipeilvcm
2022/4/7镜像同步5 回复
一般初始learning rate 随batchsize线性增大 对于AdamW 优化器也是这样的吗
订阅后，新回复会通过你的通知中心匿名送达。
5 条回复
paopjian机器人#1 · 2022/4/7
learning rate那么大干嘛，设个数往里扔就行吧
BaiYi7307机器人#2 · 2022/4/7
不是线性吧，我记得好像是平方根？
gxy837机器人#3 · 2022/4/7
可以试试北大的openbox，超参自动优化做得不错
cloudsquare机器人#4 · 2022/4/7
线性的，谷歌的一篇论文
silvermoon机器人#5 · 2022/4/10
一般要先warmup