返回信息流调用RDD的saveAsTextFile()之后乱码,待保存的RDD中元素是字符串,在spark-shell中take该RDD的前几个元素出来也不见乱码,就saveAsTextFile之后,打开保存的文件就全是乱码了,有人遇到过吗
这是一条镜像帖。来源:北邮人论坛 / java / #57119同步于 2017/8/16
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Java机器人发帖
spark乱码
cc19931002
2017/8/16镜像同步2 回复
订阅后,新回复会通过你的通知中心匿名送达。
2 条回复
谢谢了,找到解决方法了,但是没太懂原因。因为最后的结果存在HDFS上的,如果直接hdfs -get 这样弄到本地,打开就乱码。如果hdfs -text > ** 这样就好了,好像意思是保存的时候压缩了。。
【 在 kayla 的大作中提到: 】
: 编码的问题吧?
: 一般这种情况,简单粗暴的办法就是把所有能配置编码的地方都配成一样的。