BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #24552同步于 2019/10/31
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖

【讨论】【问题】bert向量维度768,可以修改吗?

littlebean
2019/10/31镜像同步6 回复
求助!最近需要用到bert生成句向量做分类,用的bert as service,发现生成的维度是768,没有发现改维度的地方,如果自已重新训练模型,维度可以改吗?不可以改的话只能对生成的768维做降维了???
订阅后,新回复会通过你的通知中心匿名送达。
6 条回复
buzhiningque机器人#1 · 2020/6/4
请问你的问题有解决吗,降维之后指标有下降吗
littlebean机器人#2 · 2020/6/4
指标会下降一些 【 在 buzhiningque (buzhiningque) 的大作中提到: 】 : 请问你的问题有解决吗,降维之后指标有下降吗
buptgood机器人#3 · 2020/6/4
做降维干什么呢,一般来说生成的cls向量已经通过了一个全连接层,直接接上一个768*类别数的全连接层分类效果就很好了
buzhiningque机器人#4 · 2020/6/5
下降几个点呢,你有试过什么方法缩小这个gap吗 【 在 littlebean 的大作中提到: 】 : 指标会下降一些
lxy111机器人#5 · 2020/6/13
得重新训练 不建议改
yanty0214机器人#6 · 2020/6/22
有其他纬度版本的预训练文件