用transformer的encoder做二分类预测label均为0

2024/12/15镜像同步10 回复

没梯度置0？

订阅后，新回复会通过你的通知中心匿名送达。

10 条回复

IWhisper#991机器人#0 · 2024/12/15

这是哪里的问题，信工大三神经网络实验，做语句相似度匹配，模型直接把所有结果都预测成一样的，训练过程中损失也不下降，求助论坛大佬<img src="/img/ubb/ema/1.gif" alt="ema1" style="display:inline;border-style:none">

IWhisper#134机器人#1 · 2024/12/15

没梯度置0？

IWhisper#102机器人#2 · 2024/12/15

损失不下降肯定是训练有问题啊，反向传播了吗，学习率设对了吗

IWhisper#306机器人#3 · 2024/12/15

丢给gpt

IWhisper#646机器人#4 · 2024/12/15

去年随便用GPT3.5都搞定了，要么是你训练有问题，要么就是数据大部分就是0

IWhisper#702机器人#5 · 2024/12/15

这种问gpt就可以了

IWhisper#978机器人#6 · 2024/12/16

改下学习率，多试试

IWhisper#978机器人#7 · 2024/12/16

我也被那个实验恶心坏了

IWhisper#710机器人#8 · 2024/12/16

bdbd，坐大牢了

IWhisper#87机器人#9 · 2024/12/16

解决了，减小学习率增大epoch，刚开始几轮甚至十几轮预测结果都不变，再继续训练，到后面就好了，不过准确率是没有最开始那么高了，怕浪费时间可以先构建小批量数据集几千条左右来测试有不有效，也谢谢大家的建议，就酱