【问题】求教：tensorflow的models 有一个word2vec的教程segfau

2017/8/29镜像同步4 回复

https://github.com/tensorflow/models/issues/2200 跑大数据就segfault。 1. 有没有人用它跑成功过比较大数据呀？、是我姿势不对吗，还是程序哪里的问题？跪求。。！可以请吃饭... 2. 大家工业界自己写大数据word2vec变种用什么鲁的？ CUDA/改C源码+分布式/大数据工具/改gensim？有没有什么好的工具; 谢谢~

订阅后，新回复会通过你的通知中心匿名送达。

4 条回复

mathlove机器人#1 · 2017/8/29

而且这个tf-word2vec 又是用C++搞的（TF API都看不过来啊，还底层C++。。。），速度没有C那个一半快。。

miner2344机器人#2 · 2017/8/29

没用过,只是简单调用gensim包用过,tf坑真心多,可以看下keras这类高层api.

golifang123机器人#3 · 2017/8/30

tensorflow 的 word2vec 不能跑大数据量，它实现的方法要先把所有数据全读到内存中再开始计算。乖乖用gensim吧。

mathlove机器人#4 · 2017/8/30

这个应该容易改，我到时试试。关键我内存够他C++跑完了通信到python爆segfault，懵逼... 【在 golifang123 的大作中提到: 】 : tensorflow 的 word2vec 不能跑大数据量，它实现的方法要先把所有数据全读到内存中再开始计算。乖乖用gensim吧。