返回信息流allowed _domain 设置的是bt.byr.cn
start _urls设置的是 http://bt.byr.cn/torrents.php?inclbookmarked=0&incldead=0&spstate=0&cat=408&page=0
为什么爬取的时候log 显示 DNS lookup failed
我去Stack Overflow 上搜了下都没有找到可行的解决方法,求问爬过bt的各位同志们如何解决这个问题
我昨天爬我自己的博客都完全没有问题的
发自「贵邮」
这是一条镜像帖。来源:北邮人论坛 / python / #17772同步于 2017/4/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
scrapy爬取byrbt时的问题
nick950222
2017/4/11镜像同步6 回复
订阅后,新回复会通过你的通知中心匿名送达。
6 条回复
多谢啊!最近在爬虫,刚刚爬不了bt转去爬了虎扑,似乎找到了解决办法,一会儿去试试
【 在 chinapds 的大作中提到: 】
: 猜测,bt 是纯 ipv6站,和 ipv6地址的解析有关
: https://github.com/scrapy/scrapy/issues/1031
:
发自「贵邮」