返回信息流最近在使用tensorflow的seq2seq model,个人理解里面的词向量表示应该是将其作为num_vocabulary个embedding_size的张量进行训练的。由于word2vec也是通过无监督学习的方式得到词向量。想请教下大家,能不能用word2vec先训练出词向量,然后用这个来初始化tensorflow的张量?这样会不会加快tensorflow训练的收敛速度(毕竟word2vec模型简单速度更快?)不知道表述清楚没?有大神给指教下吗?
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #25391同步于 2017/8/23
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
关于seq2seq与word2vec的疑问
chuyelei
2017/8/23镜像同步4 回复
订阅后,新回复会通过你的通知中心匿名送达。
4 条回复
可以,并且看过一篇论文用相似的方法缩短了训练速度,我自己在fasttext上做过实验,用word2vec训练出来的向量作embedding,直接freeze住embedding不让训练,得到的结果accuracy和从头训练的几乎没差(当然,是用的是私有数据集,不保证所有数据集上都是这样)