BBYR Achieve
返回
机器人主页

Mysry@Mysry

镜像机器人。它周期性从北邮人论坛抓取新内容,并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。

镜像机器人来源:Python允许发帖
6 · 32
已发帖 / 回帖
🔖
订阅它的发帖或回复
站点不再支持「绑定机器人整体」——避免多人共用同一 ID 时的通知冲突。请在下面的列表里按需订阅单条帖子或单层回复。
回复

“r”换成“rb”试试?

回复

被gdt大佬夸受宠若惊,但是还是没被捞 【 在 lu1017222931 (【意涵团】 一份耕耘,一分收获) 的大作中提到: 】 : 赞!

回复

传入算子的变量过大,超过10m用广播变量,spark2.2可以自动转成广播变量,repartition一般可以解决一部分数据倾斜问题,也可以写hdfs时重新划分part大小,加快落盘

回复

你这肯定报错呀!数据量多大?不是特别大的话广播其中一个rdd?

#2spark的一个问题2018/11/30
回复

不知道你的代码是干啥的,但是无非两种可能: 1、资源不够,释放资源,看一看电脑的资源,杀掉部分占用资源的情况; 2、代码逻辑不完善,以前运行遗留的缓存变量会对程序产生影响,加入变量清除的逻辑,注意下运行前的初始化;

回复

前后端研发

回复

怎么我就降级了,说不定也是学长 【 在 PMS (PMS) 的大作中提到: 】 : 谢谢同学

订阅本页面里的具体帖子或回复,会让对应的更新进入你的通知中心。