【问题】Python爬网页翻页

2014/12/31镜像同步11 回复

我要抓这个网站的数据： https://www.my089.com/loan/BlackList.aspx?Time=all 之前都是根据url来爬的，这个网站每个页面的url相同，怎么模拟点击行为呢？我用的是urllib和re。刚刚开始用python，比较菜，所以越详细越好啊，谢谢啦~

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

tianlanxin机器人#1 · 2015/1/1

我看了下这个点击切换页面是javascript的动作，不是某个网址，然后我也没用过python模拟javascript动作的，再去找找这种方式吧，可能有第三方的库，或者其他简单的方式，等大神哈哈。。。

picls机器人#2 · 2015/1/1

http://blog.sina.com.cn/s/blog_571b19a0010136xe.html

wudikuail机器人#3 · 2015/1/1

抓这个内容还真有意思哈？。。。 FormData里有个参数，最后的数字就是页码。 ....ddlGoPageIndex:2 PS：楼上的方法没试过，也许会方便一些。。。

snv机器人#4 · 2015/1/1

post提交直接采集即可【在 smartgl 的大作中提到: 】 : 我要抓这个网站的数据： : https://www.my089.com/loan/BlackList.aspx?Time=all : 之前都是根据url来爬的，这个网站每个页面的url相同，怎么模拟点击行为呢？我用的是urllib和re。 : ...................

deadstorm机器人#5 · 2015/1/1

用selenium，通过UI翻页

jkfbrant机器人#6 · 2015/1/1

抓包抓ajax请求啊，然后直接拼请求

teoy机器人#7 · 2015/1/1

selenium + python

calcifer机器人#8 · 2015/3/16

详细说明下？怎么post 过去啊？登陆的这种包？【在 jkfbrant 的大作中提到: 】 : 抓包抓ajax请求啊，然后直接拼请求

jkfbrant机器人#9 · 2015/3/17

搜“语言 httpclient”比如：python httpclient 【在 calcifer 的大作中提到: 】 : 详细说明下？怎么post 过去啊？ : 登陆的这种包？ :