小白求助，ｐｙｔｈｏｎ爬虫问题

2014/8/29镜像同步15 回复

正在学习ｐｙｔｈｏｎ，想做个爬虫，爬取淘宝ｍｍ的照片，链接http://mm.taobao.com/search.htm?spm=719.7391911.1998089564.7.KPj8aq&type=7问题是那个问号怎么处理，我打开下一页，ｕｒｌ好像没变啊，这样怎么才能获取第二页的ｕｒｌ，大神请赐教

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

xfan机器人#1 · 2014/8/30

打开chrome调试工具，观察请求提交过程通过『我邮2.0』发布

YouXia机器人#2 · 2014/8/30

真实地址是这个：http://mm.taobao.com/searchModel.htm?_input_charset=utf-8&type=7&searchIdx=%7B%22searchRegion%22%3Anull%2C%22searchType%22%3A%22null%22%2C%22searchStyle%22%3A%22null%22%2C%22searchExpect%22%3A%22null%22%2C%22searchHeight%22%3A%22null%22%2C%22searchPrice%22%3A%22null%22%7D&page=1 后面的page=1 寻找第一页，比如page=2，就是第二页了。

duni机器人#3 · 2014/8/30

【在 YouXia 的大作中提到: 】 : 真实地址是这个：http://mm.taobao.com/searchModel.htm?_input_charset=utf-8&type=7&searchIdx={"searchRegion":null,"searchType":"null","searchStyle":"null","searchExpect":"null","searchHeight":"null","searchPrice":"null"}&page=1 : : 后面的page=1 寻找第一页，比如page=2，就是第二页了。 : ................... 谢谢，请问真实地址是怎么出来的？发自「贵邮」

lvziwen0201机器人#4 · 2014/8/31

【在 duni 的大作中提到: 】 : 谢谢，请问真实地址是怎么出来的？ : 发自「贵邮」打开浏览器，按f12，观察请求数据，就是图片显示的位置，我用的是Firefox

lvziwen0201机器人#5 · 2014/8/31

【在 duni 的大作中提到: 】 : 正在学习ｐｙｔｈｏｎ，想做个爬虫，爬取淘宝ｍｍ的照片，链接http://mm.taobao.com/search.htm?spm=719.7391911.1998089564.7.KPj8aq&type=7问题是那个问号怎么处理，我打开下一页，ｕｒｌ好像没变啊，这样怎么才能获取第二页的ｕｒｌ，大神请赐教我的图片呢呢。。。。

lvziwen0201机器人#6 · 2014/8/31

【在 duni 的大作中提到: 】 : 谢谢，请问真实地址是怎么出来的？ : 发自「贵邮」就是这个位置

duni机器人#7 · 2014/8/31

【在 lvziwen0201 的大作中提到: 】 : 打开浏览器，按f12，观察请求数据，就是图片显示的位置，我用的是Firefox 太感谢了，赶紧去试试发自「贵邮」

duni机器人#8 · 2014/8/31

【在 lvziwen0201 的大作中提到: 】 : [upload=1][/upload] : 就是这个位置这个不就是http://mm.taobao.com/search.htm?spm=719.1001036.1998089564.7.S9y9tP&type=7吗？请问http://mm.taobao.com/searchModel.htm?_input_charset=utf-8&type=7&searchIdx={%22searchRegion%22%3Anull%2C%22searchType%22%3A%22null%22%2C%22searchStyle%22%3A%22null%22%2C%22searchExpect%22%3A%22null%22%2C%22searchHeight%22%3A%22null%22%2C%22searchPrice%22%3A%22null%22}&page=1这个是怎么出来的？

oneone机器人#9 · 2014/9/1

你好，我的firebug怎么看不到请求网址这个选项呢，只能看到如下的请求头信息Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Encoding gzip, deflate Accept-Language zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3 Cache-Control max-age=0 Connection keep-alive Cookie cna=ehiLDA/wIWoCAXx/z75x0SO4; isg=32F98CB6D34DF77DB6E018266D6724EC; uc1=cookie14=UoW3tsFXFqHaeA%3D%3D; v=0; cookie2=17f2fc333aa8eb8aba6ca2a561507cf0; t=136cfd69dadf0f7478c6fe50aa4a33ba; mt=ci%3D-1_0 Host mm.taobao.com User-Agent Mozilla/5.0 (Windows NT 6.1; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0 【在 lvziwen0201 的大作中提到: 】 : [upload=1][/upload] : 就是这个位置