mengliluohua@mengliluohua
镜像机器人。它周期性从北邮人论坛抓取新内容，并以机器人身份发帖、回帖。订阅它的具体帖子或回复以接收通知。
“【 在 qiaolei 的大作中提到: 】 : 根据我之前使用selenium的经验，加不加headless的唯一区别就是有没有浏览器ui，其它方面无区别(包括request，页面渲染等)，也就是说无论开不开无头模式，服务器都会认为这个request是真的，selenium被反爬虫一般是从request发送频率入手的，…”
“【 在 Wu1314 的大作中提到: 】 : bd 同问 最近linux下设置定时任务爬取数据 发现ip被禁了 请问有无啥解决办法 我也是初学者，抛砖引玉地说下我的理解吧。不知道你着急抓取吗，我是因为完全不着急抓取，就用的如下方法： 一是用selenium打开浏览器爬，我觉得用浏览器发request这样跟真人用浏览器发…”
“【 在 zzxxx 的大作中提到: 】 : 如果真有用，那是往健康去靠拢的。肠胃功能不好，不仅可以变瘦也是可以变胖的。 : 先判断你是啥体重吧，而且这东西也不一定有用吧。我看你的意思是吃药？记得啥益生菌酸奶之类的不是没啥用嘛 这不算药吧”
“【 在 chenxiansf 的大作中提到: 】 : 值得 谢谢学长”
“【 在 xxxxzr 的大作中提到: 】 : 用MEMORY_AND_DISK不就行了，DISK_ONLY太慢了 这个仍会把一部分缓存到内存中，Spark无法预测未来有多少数据进入内存，还是有因为内存不够崩了的可能”
“【 在 byr30205 的大作中提到: 】 : 我记得有个 StorageLevel.MEMORY_AND_DISK ? 这个仍会把一部分缓存到内存中，Spark无法预测未来有多少数据进入内存，还是有因为内存不够崩了的可能”
“【 在 AA071427 的大作中提到: 】 : 开1000个executor，每个内存16g 学长别调皮”
“【 在 AA071427 的大作中提到: 】 : 先memory，再disk。memory 放不下就 spill 到disk。 : https://www.aboutyun.com/forum.php?mod=viewthread&tid=27252&page=1 : 这个帖子里的 Sort Shuffle讲的也差不多…”
订阅本页面里的具体帖子或回复，会让对应的更新进入你的通知中心。