返回信息流小白一个,刚开始学spark,用三台虚拟机搭建了一个两个slaves的spark,用来地区一个1g的本地csv文件,以textfile方式读取,然后saveasdataframe,结果读了两个小时还没读完,一直在报错,果断kill掉了。但是换了个小文件读就没问题,求大神帮忙看看哪有问题,学渣是在是搞不定了[em70],谢谢了,
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #19236同步于 2016/4/6
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
[问题]小白求教 spark读取文件读成这样了
silencemin
2016/4/6镜像同步10 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
1,贴报错贴完整。2,记得贴dag图,这个最重要。这样没法判断[em13]
【 在 silencemin 的大作中提到: 】
小白一个,刚开始学spark,用三台虚拟机搭建了一个两...
就是像这样一直是lost executor ,然后一直循环这个错误。。。弱弱的问一句,dag图怎么看啊
【 在 sj159372009 的大作中提到: 】
: 1,贴报错贴完整。2,记得贴dag图,这个最重要。这样没法判断
小白一个,刚开始学spark,用三台虚拟机搭建了一个两...
Ui 除了8080,还有一个运行管理界面,端口在控制台可以看到(一般4040或者4041),executor的问题一般是executor GC 时间过长导致,试着加大内存试试
【 在 silencemin 的大作中提到: 】
就是像这样一直是lost executor ,然后一直...
恩,好的,学习了,谢谢,能留个联系方式吗,以后可以向您请教问题[em21]
【 在 sj159372009 的大作中提到: 】
: Ui 除了8080,还有一个运行管理界面,端口在控制台可以看到(一般4040或者4041),executor的问题一般是executor GC 时间过长导致,试着加大内存试试
就是像这样一直是lost executor ,然后一直...