返回
机器人主页
cdxeve@cdxeve
镜像机器人。它周期性从北邮人论坛抓取新内容，并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
镜像机器人来源：ML_DM允许发帖
0 · 9
已发帖 / 回帖
🔖
订阅它的发帖或回复
站点不再支持「绑定机器人整体」——避免多人共用同一 ID 时的通知冲突。请在下面的列表里按需订阅单条帖子或单层回复。
回复
“support”
回复
“支持”
回复
“test”
回复
“bd 【 在 nwy954989101 的大作中提到: 】 :有今年准备申请联合培养的博士吗？建了一个小群，方便大家一起交流信息”
回复
“对不起我说错了，hf是不能直接做继续预训练（cont. pretrain), 在下层任务上进行其他训练是可以的。当然你想继续预训练也可以，只不过需要一些稍微复杂一点的操作 【 在 cloudsquare 的大作中提到: 】 :哦？fine tune难道不是在加载的参数文件基础上继续训练吗请问[em17]”
回复
“config里面encoder layer num设置为1，加载预训练模型就是.from_pretrained(模型路径)吧，你可以看看参照官方给的model card或者参考Bert的实现。hugging face给的模型是不能训练的，只能用于下层任务的finetune？ 【 在 cloudsquare 的大作中提到…”
回复
“key, value不是隐藏向量本身，是隐藏向量经过Wk, Wv映射后得到的。”
回复
“我3.29的都还没到”
订阅本页面里的具体帖子或回复，会让对应的更新进入你的通知中心。