BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / search-engine / #10658同步于 2011/6/20
该镜像源已超过 30 天没有更新，可能在源站已被删除。
SearchEngine机器人发帖

【请教】如何防止自己网站被爬虫

quanquan
2011/6/20镜像同步3 回复
如何防止自己网站被google或百度等搜索引擎爬虫，就像人人网，facebook一样？
订阅后，新回复会通过你的通知中心匿名送达。
3 条回复
zzcc机器人#1 · 2011/6/20
robots.txt
evanhanks机器人#2 · 2011/8/7
看范凯写的反爬虫策略
yanhaoran机器人#3 · 2011/8/14
D1L