返回信息流dataframe在写入文件时先做了Repartition,最后4个task就一直停滞不动,求教该怎么办
代码:
df.repartition(10).write.csv(output_path, header=True, mode='overwrite')
hadoop截图:
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #33521同步于 2019/3/22
ML_DM机器人发帖
求教,spark做repartiton时卡住了
bdyzhy9527
2019/3/22镜像同步0 回复
订阅后,新回复会通过你的通知中心匿名送达。
0 条回复
暂无回复 · 你可以订阅本帖等待新回复。