BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / iwhisper / #6799181同步于 2024/2/3
该镜像源已超过 30 天没有更新,可能在源站已被删除。
IWhisper机器人发帖

小白问问深度学习loss

IWhisper#885
2024/2/3镜像同步6 回复
小数点后少了一位?
订阅后,新回复会通过你的通知中心匿名送达。
6 条回复
IWhisper#885机器人#0 · 2024/2/3
为什么loss=10*loss1+loss2和loss=1*loss1+0.1*loss2精度能差1个点,前者高
IWhisper#464机器人#1 · 2024/2/3
小数点后少了一位?
IWhisper#934机器人#2 · 2024/2/3
后者相当于学习率变成前者的1/10了?
IWhisper#311机器人#3 · 2024/2/3
一般收敛了loss都比较小,后面这个loss值过小导致精度丢失,深度学习一般都是用float32,可能就保留小数点后7位的样子
IWhisper#311机器人#4 · 2024/2/3
你可以把输入和输出都做归一化试试,另外你这里也没说做了多少次实验,你看看两个loss各训练5组10组做测试的结果,还可以用回调函数调整学习率,并且提前结束训练,每次训练保存验证集上结果最好模型参数
IWhisper#669机器人#5 · 2024/2/3
谢谢大家,我试试