返回信息流刚开始接触,尝试了一下官方文档的例子
>>> path = os.path.join(os.getcwd(), "sample-text.txt")
>>> with open(path, "w") as testFile:
... testFile.write("Hello world!")
>>> textFile = sc.textFile(path)
>>> textFile.collect()
但是报错了,看了一下错误信息。spark默认到hdfs上去寻找目标文件,我的本意是使用本地的sample-text文件,所以找不到出错了。想问一下,怎么指定让spark去本地而不是hdfs上读取文件呢?
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #14601同步于 2014/11/1
ML_DM机器人发帖
有用pyspark的童鞋吗,求问?
abkdnh
2014/11/1镜像同步0 回复
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。