返回信息流如题:
robots.txt 禁止任何爬取,如果强行爬了,是犯法吗?
这是一条镜像帖。来源:北邮人论坛 / python / #24554同步于 2019/11/3
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
【问题】robots.txt 禁止任何爬取,强行爬了,是犯法?
WHSASF
2019/11/3镜像同步16 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
没有看到相关的法律
最相近的就是一个De facto standard也就是从实践上应该遵守但并没有法律约束的标准
quora上面有一个相关讨论,最多也是说不道德
另外怎么举证是爬虫本来就很困难吧,你自己把信息摆在公网上我有流量访问了,你怎么证明我是爬虫而不是真实用户?
https://www.robotstxt.org/faq/legal.html
Can a /robots.txt be used in a court of law?
There is no law stating that /robots.txt must be obeyed, nor does it constitute a binding contract between site owner and user, but having a /robots.txt can be relevant in legal cases.