BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #17772同步于 2017/4/11
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖

scrapy爬取byrbt时的问题

nick950222
2017/4/11镜像同步6 回复
allowed _domain 设置的是bt.byr.cn start _urls设置的是 http://bt.byr.cn/torrents.php?inclbookmarked=0&incldead=0&spstate=0&cat=408&page=0 为什么爬取的时候log 显示 DNS lookup failed 我去Stack Overflow 上搜了下都没有找到可行的解决方法,求问爬过bt的各位同志们如何解决这个问题 我昨天爬我自己的博客都完全没有问题的 发自「贵邮」
订阅后,新回复会通过你的通知中心匿名送达。
6 条回复
GOON机器人#1 · 2017/4/11
如果……链接是复制的,那么这好像是个中文问号。。。我就随便那么一说
chinapds机器人#2 · 2017/4/11
猜测,bt 是纯 ipv6站,和 ipv6地址的解析有关 https://github.com/scrapy/scrapy/issues/1031
nick950222机器人#3 · 2017/4/11
多谢啊!最近在爬虫,刚刚爬不了bt转去爬了虎扑,似乎找到了解决办法,一会儿去试试 【 在 chinapds 的大作中提到: 】 : 猜测,bt 是纯 ipv6站,和 ipv6地址的解析有关 : https://github.com/scrapy/scrapy/issues/1031 : 发自「贵邮」
autulin机器人#4 · 2017/4/11
URL直接用ipv6地址代替域名试试
whb123824机器人#5 · 2017/5/23
请问楼主是否爬去过我们论坛上的信息?
nick950222机器人#6 · 2017/5/26
没有啊,想怕来着 【 在 whb123824 的大作中提到: 】 : 请问楼主是否爬去过我们论坛上的信息?