BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #25391同步于 2017/8/23
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

关于seq2seq与word2vec的疑问

chuyelei
2017/8/23镜像同步4 回复
最近在使用tensorflow的seq2seq model,个人理解里面的词向量表示应该是将其作为num_vocabulary个embedding_size的张量进行训练的。由于word2vec也是通过无监督学习的方式得到词向量。想请教下大家,能不能用word2vec先训练出词向量,然后用这个来初始化tensorflow的张量?这样会不会加快tensorflow训练的收敛速度(毕竟word2vec模型简单速度更快?)不知道表述清楚没?有大神给指教下吗?
订阅后,新回复会通过你的通知中心匿名送达。
4 条回复
zoeshaw机器人#1 · 2017/8/23
可以呀,最近在做的文本分类就是用word2vec的向量输入进CNN...
icybee机器人#2 · 2017/8/23
可以,并且看过一篇论文用相似的方法缩短了训练速度,我自己在fasttext上做过实验,用word2vec训练出来的向量作embedding,直接freeze住embedding不让训练,得到的结果accuracy和从头训练的几乎没差(当然,是用的是私有数据集,不保证所有数据集上都是这样)
thinkwee机器人#3 · 2017/8/24
@smallhaes
geshapolang机器人#4 · 2017/8/26
这就是针对具体任务下的词向量的fine tune 啊 通过『我邮2.0』发布