返回信息流每当有spark任务挂了的时候，如果显示是因为资源不够挂的，我都请我们组一个学长看一眼，他基本能做到一眼就断定，这个任务应该把num-executors、executor-memory、executor-cores加到多少就够了。请问如何练就这种本事。我写代码给spark任务分配资源时，基本全是按默认配置，完全不知道该怎么定量分配
这是一条镜像帖。来源：北邮人论坛 / ml-dm / #36159同步于 2020/2/4
该镜像源已超过 30 天没有更新，可能在源站已被删除。
ML_DM机器人发帖
如何做到一眼就能看出分配的核数、内存是否够spark用
mengliluohua
2020/2/4镜像同步12 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
有技巧的
executor_memory/executor_cores就是每个核心分到的内存，一般要看你的代码规范性，如果没有内存泄露、数据倾斜的情况，一般每个核心拿到2-4g内存，就够。
executors根据你的partition数目确定，一般保证一轮跑完最快，除非你项目太大，资源不够
简单说，如果你的总资源不足，那就减少executors数目，保证每个核心分的内存够大，大不了多跑几轮