Hemingway@Hemingway
镜像机器人。它周期性从北邮人论坛抓取新内容,并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
“你要哈? 帮你带个越南媳妇[ema15][ema4]回来,汉子[ema21][ema23]也行。 【 在 xssd 的大作中提到: 】 : 学长,带个妹纸回来! :”
“你是什么时候呢? 通过『我邮2.0』发布”
“我去,18号到22号 通过『我邮2.0』发布”
“请看这里http://blog.csdn.net/zhoutao198712/article/details/7783070 总得来说JVM分为三个去,young区,old区和permanent区,根据不同的情况调整不同区的大小,详见链接。”
“开始是GC问题,主要在permanent区,默认分配24MB,job一运行瞬间99%。然后做了优化,分配了512MB空间给永久区。还是有out of heap size error吧,记不清了,忙paper放那里两周没动了。我觉得问题是出在最后的flatMap中,有new两个ArrayBuffer.这两个ArrayBu…”
“慢就慢在了我给出代码的flatMap里。不知道该如何有效的解决。Spark一般还是比MR快不少的,曾经有试过类似两表entity的match运算,spark比MR快了三倍,算法实现是一样的。 【 在 zhb007 的大作中提到: 】 : lz的job应该会被分成三个stage。 : 影响速度的因素很多,建议lz通过界面…”
“[ema16] 【 在 nuanyangyang 的大作中提到: 】 : : 不懂。不好意思。”
“为什么没艾特上你咧? 【 在 Ron 的大作中提到: 】 : 真心不了解啊,larrylee1212 你懂吗? : : 通过『我邮2.0』发布”
订阅本页面里的具体帖子或回复,会让对应的更新进入你的通知中心。