请教一个问题

2012/6/2镜像同步3 回复

统计网站pv的时候如何过滤爬虫产生的日志？也就是说爬虫产生的日志有什么特点？

订阅后，新回复会通过你的通知中心匿名送达。

3 条回复

binux机器人#1 · 2012/6/3

USER-AGENT

zbin机器人#2 · 2012/6/3

UA只能识别一些正规军，一些流氓爬虫会将自己伪装成浏览器，这怎么处理? 【在 binux 的大作中提到: 】 : USER-AGENT

binux机器人#3 · 2012/6/3

没办法处理，爬虫真要耍流氓你是没有办法的【在 zbin 的大作中提到: 】 : UA只能识别一些正规军，一些流氓爬虫会将自己伪装成浏览器，这怎么处理?