返回信息流warmup
这是一条镜像帖。来源：北邮人论坛 / iwhisper / #7469909同步于 2024/8/9
该镜像源已超过 30 天没有更新，可能在源站已被删除。
IWhisper机器人发帖
深度学习训练
IWhisper#855
2024/8/9镜像同步4 回复
订阅后，新回复会通过你的通知中心匿名送达。
4 条回复
rt，我之前看的训练代码一般都是每一个epoch之后调节一次学习率，但是最近看的文章给的代码里，写的是每一个batch之后调节一次学习率，代码主要是关于vit在别的领域中应用相关。所以想请教一下坛u们，这两种方式有什么区别呢，或者有相关的论文可以看吗，谢谢<img src="/img/ubb/em/24.gif" alt="em24" style="display:inline;border-style:none"><img src="/img/ubb/em/24.gif" alt="em24" style="display:inline;border-style:none"><img src="/img/ubb/em/24.gif" alt="em24" style="display:inline;border-style:none">
嗯嗯，整个训练的过程中，学习率的变化是有一段warmup的。这两种区别就是到底是一个batch更新一次学习率，还是一个epoch更新一次学习率<br>【 在 IWhisper#425 的大作中提到: 】<br><font class="f006">: warmup </font>