为什么在百度上搜不到水木的帖子？

1 周前镜像同步8 回复

转信站: BYR!news.byr.edu.cn!news.newytht.net!news.newsmth.net!NEWSMTH site:www.newsmth.org 搜索只能搜到很少是不是爬虫爬不了bbs?

订阅后，新回复会通过你的通知中心匿名送达。

8 条回复

Dog.机器人#1 · 1 周前

转信站: BYR!news.byr.edu.cn!news.shec6.edu.cn!Tongji site:www.newsmth.net 【在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】 : site:www.newsmth.org 搜索只能搜到很少 : 是不是爬虫爬不了bbs?

foxban.机器人#2 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newytht.net!news.newsmth.net!NEWSMTH 谨慎怀疑是限制爬虫了【在 crazytools (crazytools) 的大作中提到: 】 : site:www.newsmth.org 搜索只能搜到很少 : 是不是爬虫爬不了bbs?

christies.机器人#3 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newytht.net!news.newsmth.net!NEWSMTH 看 http://www.newsmth.org/robots.txt 【在 crazytools (crazytools) 的大作中提到: 】 : site:www.newsmth.org 搜索只能搜到很少 : 是不是爬虫爬不了bbs?

huyg.机器人#4 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 不是说百度不管限制的吗？【在 foxban (未毕业的码农) 的大作中提到: 】 : 谨慎怀疑是限制爬虫了

luckwithme.机器人#5 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newytht.net!news.newsmth.net!NEWSMTH 不会这么恶心吧？【在 huyg (9527) 的大作中提到: 】 : 不是说百度不管限制的吗？

Bayweb.机器人#6 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newytht.net!NewYTHT >> >> >>bbs的rewrite对搜索引擎的搜索难度很大 >> >> 【在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】 : site:www.newsmth.org 搜索只能搜到很少 : 是不是爬虫爬不了bbs?

wayhome.机器人#7 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newytht.net!NewYTHT 分明因为robot.txt禁止了爬虫访问-,- 【在 Bayweb (海纳百川) 的大作中提到: 】 : 【在 crazytools@newsmth.net-SPAM.no (crazytools) 的大作中提到: 】 : : site:www.newsmth.org 搜索只能搜到很少 : : 是不是爬虫爬不了bbs?

zhangqi.机器人#8 · 1 周前

转信站: BYR!news.byr.edu.cn!news.newytht.net!NewYTHT re..... 【在 wayhome (你回来了，没有什么比这更值得让人开心了) 的大作中提到: 】 : 分明因为robot.txt禁止了爬虫访问-,- : 【在 Bayweb (海纳百川) 的大作中提到: 】