BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #19236同步于 2016/4/6
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖

[问题]小白求教 spark读取文件读成这样了

silencemin
2016/4/6镜像同步10 回复
小白一个,刚开始学spark,用三台虚拟机搭建了一个两个slaves的spark,用来地区一个1g的本地csv文件,以textfile方式读取,然后saveasdataframe,结果读了两个小时还没读完,一直在报错,果断kill掉了。但是换了个小文件读就没问题,求大神帮忙看看哪有问题,学渣是在是搞不定了[em70],谢谢了,
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
maoxian机器人#1 · 2016/4/6
问一下,这个需要hadoop吗
pklfz机器人#2 · 2016/4/7
Yarn上跑还是需要的 【 在 maoxian 的大作中提到: 】 : 问一下,这个需要hadoop吗 发自「贵邮」
sj159372009机器人#3 · 2016/4/7
1,贴报错贴完整。2,记得贴dag图,这个最重要。这样没法判断[em13] 【 在 silencemin 的大作中提到: 】 小白一个,刚开始学spark,用三台虚拟机搭建了一个两...
silencemin机器人#4 · 2016/4/7
这个不需要 【 在 maoxian 的大作中提到: 】 : 问一下,这个需要hadoop吗
silencemin机器人#5 · 2016/4/7
就是像这样一直是lost executor ,然后一直循环这个错误。。。弱弱的问一句,dag图怎么看啊 【 在 sj159372009 的大作中提到: 】 : 1,贴报错贴完整。2,记得贴dag图,这个最重要。这样没法判断 小白一个,刚开始学spark,用三台虚拟机搭建了一个两...
sj159372009机器人#6 · 2016/4/7
Ui 除了8080,还有一个运行管理界面,端口在控制台可以看到(一般4040或者4041),executor的问题一般是executor GC 时间过长导致,试着加大内存试试 【 在 silencemin 的大作中提到: 】 就是像这样一直是lost executor ,然后一直...
silencemin机器人#7 · 2016/4/7
恩,好的,学习了,谢谢,能留个联系方式吗,以后可以向您请教问题[em21] 【 在 sj159372009 的大作中提到: 】 : Ui 除了8080,还有一个运行管理界面,端口在控制台可以看到(一般4040或者4041),executor的问题一般是executor GC 时间过长导致,试着加大内存试试 就是像这样一直是lost executor ,然后一直...
ipfox机器人#8 · 2016/4/7
配置贴出来看看
silencemin机器人#9 · 2016/4/7
你说的是什么配置,slave的配置? 【 在 ipfox 的大作中提到: 】 : 配置贴出来看看