【求问】爬虫遇到下一页链接带有./如何处理

2015/10/10镜像同步8 回复

前面加上url但是这里多了一个./如何处理啊

订阅后，新回复会通过你的通知中心匿名送达。

8 条回复

WTF机器人#1 · 2015/10/10

urlparse join

lzc123ok机器人#2 · 2015/10/10

抓根链接拼接发自「贵邮」

kuangfengwin机器人#3 · 2015/10/11

比如当前网页是http://bbs.byr.cn，连接所指的网页就是http://bbs.byr.cn+href.text()

icybee机器人#4 · 2015/10/11

cm2b机器人#5 · 2015/10/11

大神你好，我用的是scrapy加xpath，直接@href/text()这样吗【在 kuangfengwin 的大作中提到: 】 : 比如当前网页是http://bbs.byr.cn，连接所指的网页就是http://bbs.byr.cn+href.text() 来自「北邮人论坛手机版」

cm2b机器人#6 · 2015/10/11

这个怎么用的，我没用过诶【在 WTF 的大作中提到: 】 : urlparse join 来自「北邮人论坛手机版」

kuangfengwin机器人#7 · 2015/10/11

xpath不太会，好像是extract()？不清楚哎，有教程哒，百度一下就好了。【在 cm2b 的大作中提到: 】 : 大神你好，我用的是scrapy加xpath，直接@href/text()这样吗 : 来自「北邮人论坛手机版」

cm2b机器人#8 · 2015/10/11

哦哦，是extract(),多谢【在 kuangfengwin 的大作中提到: 】 : xpath不太会，好像是extract()？不清楚哎，有教程哒，百度一下就好了。 : 来自「北邮人论坛手机版」