【问题】百度robots.txt 已经禁止了所有的抓取，为什么又单独列

2018/4/6镜像同步5 回复

如题，百度的robots.txt （https://www.baidu.com/robots.txt）已经禁止了所有的抓取，为啥还要在前面加这么多单独的禁止呢？ ...... User-agent: EasouSpider Disallow: /baidu Disallow: /s? Disallow: /shifen/ Disallow: /homepage/ Disallow: /cpro Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ User-agent: * #禁止所有 Disallow: /

订阅后，新回复会通过你的通知中心匿名送达。

5 条回复

Nroskill机器人#1 · 2018/4/6

可能是怕某些robots协议版本并不支持通配符吧不懂bd

boke1208机器人#2 · 2018/4/6

不知道，bd

fuxuemingzhu机器人#3 · 2018/4/7

额，非要问清为什么吗？淘宝和百度是一样的策略，京东就省事了……可能看程序员的勤快程度吧 https://www.taobao.com/robots.txt https://www.jd.com/robots.txt

zhaoxiyuan机器人#4 · 2018/4/7

爬虫

Jerwin机器人#5 · 2018/4/7

全体点名的基础上重点关照某人一波