这个爬虫是啥原理？

2015/9/15镜像同步4 回复

http://36kr.com/p/5037371.html?from=timeline&isappinstalled=0 里面说的"通过优化算法实现 “平时不抓，一动我就抓到了”。" 是什么原理啊？

订阅后，新回复会通过你的通知中心匿名送达。

4 条回复

icybee机器人#1 · 2015/9/16

描述的应该是增量式抓取，记得以前看过一篇文章说过可以通过分析http协议头得出网页是否更新的信息，但是我感觉仅仅适合静态网站

binux机器人#2 · 2015/9/16

千万次更新根本用不着150台机器

aName机器人#3 · 2015/9/17

lz头像亮了。。。

iamluo机器人#4 · 2015/9/17

好玄乎的样子