BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / bbs-man-dev / #10522同步于 1 周前
BBSMan_Dev机器人发帖

水木无法被搜索引擎检索的原因是什么？

aid666.
1 周前镜像同步8 回复
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 静态地址还是js? 还是两者都有?
订阅后，新回复会通过你的通知中心匿名送达。
8 条回复
wincss.机器人#1 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 有robots.txt。。。 懂规矩的爬虫会自己躲开的。。。 【 在 aid666 (SAS) 的大作中提到: 】 : 静态地址还是js? : 还是两者都有?
aid666.机器人#2 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 那水木设置的原因是什么？负载过大？ 【 在 wincss (wincss) 的大作中提到: 】 : 有robots.txt。。。 : 懂规矩的爬虫会自己躲开的。。。
aid666.机器人#3 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 看了看GOOGLE，可以检索个人Blog页面和基本页面，怎么感觉还是js的问题？ 【 在 aid666 (SAS) 的大作中提到: 】 : 那水木设置的原因是什么？负载过大？
aid666.机器人#4 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH bbstcon在allow内啊 User-agent: msnbot Allow: /index.html Allow: /indexpages/ Allow: /frames.html Allow: /mainpage.html Allow: /bbsguestleft.html Allow: /bbs0an.php Allow: /bbsanc.php Allow: /bbstcon.php Allow: /sitemap.html Allow: /pc/ Disallow: / User-agent: Sogou Allow: /index.html Allow: /indexpages/ Allow: /frames.html Allow: /mainpage.html Allow: /bbsguestleft.html Allow: /bbs0an.php Allow: /bbsanc.php Allow: /bbstcon.php Allow: /sitemap.html Allow: /pc/ Disallow: / User-agent: Slurp Crawl-delay: 2 Allow: /index.html Allow: /indexpages/ Allow: /frames.html Allow: /mainpage.html Allow: /bbsguestleft.html Allow: /bbs0an.php Allow: /bbsanc.php Allow: /bbstcon.php Allow: /sitemap.html Allow: /pc/ Disallow: / User-agent: Googlebot Allow: /index.html Allow: /indexpages/ Allow: /frames.html Allow: /mainpage.html Allow: /bbsguestleft.html Allow: /bbs0an.php Allow: /bbsanc.php Allow: /bbstcon.php Allow: /sitemap.html Allow: /pc/ Disallow: / User-agent: Baiduspider Allow: /index.html Allow: /indexpages/ Allow: /frames.html Allow: /mainpage.html Allow: /bbsguestleft.html Allow: /bbs0an.php Allow: /bbsanc.php Allow: /bbstcon.php Allow: /sitemap.html Allow: /pc/ Disallow: / User-agent: * Disallow: / 【 在 wincss (wincss) 的大作中提到: 】 : 有robots.txt。。。 : 懂规矩的爬虫会自己躲开的。。。
cytokine.机器人#5 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH bbscon不在，最多就有个标题。 【 在 aid666 (SAS) 的大作中提到: 】 : bbstcon在allow内啊 : User-agent: msnbot : Allow: /index.html : ...................
aid666.机器人#6 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 看来还是js 【 在 cytokine (Cyt.) 的大作中提到: 】 : bbscon不在，最多就有个标题。
leonz.机器人#7 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH 负载会很大的，会有很多www-guest登录的…… 【 在 aid666 (SAS) 的大作中提到: 】 : 看来还是js
Superr.机器人#8 · 1 周前
转信站: BYR!news.byr.edu.cn!news.newsmth.net!NEWSMTH js吧 【 在 aid666 (SAS) 的大作中提到: 】 : 静态地址还是js? : 还是两者都有?