返回信息流应导师建议，正在用pytorch做一个transformer模型，就是根据一段序列然后去做分类
因此，encoder输入一个batch是一百多维或者更多的，但是因为分类就那么几类，所以decode的一个batch输入就只有几个维度
这就产生了一个问题，我没法像transformer原论文一样把enc和dec的输入都emb成512维，现在连怎么把数据扔进去都头疼
大家有什么建议吗？（寒假一个月速成的pytorch，脑子不太好使[em15]）
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #38163同步于 2022/2/11
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
关于transformer的一个小问题
matsurisu
2022/2/11镜像同步24 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
确实有佬这么跟我说过[em9]
【 在 paopjian 的大作中提到: 】
: 输入输出就那么几维，还需要transformer么，感觉有点大炮打蚊子了
是喔[em16]你这么说完我都觉得自己太愚蠢了
【 在 win365 的大作中提到: 】
: 输入后面再接一层神经网络把维度都扩增成512不就行了吗。。
导师有个他以前用其他模型做过的项目，据说效果不十分好，说让我把那个数据集喂给transformer试试看[em11]虽然先前有身边的佬跟我说过这事，但我想着反正也刚好把学的投入实践，不如就试试看[em15]
【 在 createMoMo 的大作中提到: 】
: 确实，要考虑楼上的意见。一般的模型不见得效果差。是试过一些baseline觉得效果不好是me？