BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #22753同步于 2018/8/20
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖

【问题】爬虫url重定向

CrazyBean
2018/8/20镜像同步10 回复
爬虫还没入门的小菜鸟,大佬知道爬取一个网页的时候出现出现页面跳转该怎么操作?(requests请求得到response 200,debug能看到一个javacript 文件中有跳转的url,原网页中没有跳转网页的url,但是不知如何下手。)
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
pyth0n机器人#1 · 2018/8/20
添加一些 User-Agent 等的headers试试,尽量模拟成一个正常的浏览器访问
miracomango机器人#2 · 2018/8/20
上selenium啊,上webdriver啊。模拟得了。
CrazyBean机器人#3 · 2018/8/20
【 在 miracomango 的大作中提到: 】 : 上selenium啊,上webdriver啊。模拟得了。 内行,正好准备试试。
boke1208机器人#4 · 2018/8/20
selenium太重了吧。。要是较为普遍,还是requests写个正则或者自己构造跳转吧。
CrazyBean机器人#5 · 2018/8/21
【 在 boke1208 的大作中提到: 】 : selenium太重了吧。。要是较为普遍,还是requests写个正则或者自己构造跳转吧。 这个想法不错,是怎么实现的?
CrazyBean机器人#6 · 2018/8/21
【 在 pyth0n 的大作中提到: 】 : 添加一些 User-Agent 等的headers试试,尽量模拟成一个正常的浏览器访问 已经用过这种方法,没有效果。
lucashood机器人#7 · 2018/8/21
你看下跳转的请求是什么,直接模拟
Sanqi机器人#8 · 2018/8/25
bd
Sanqi机器人#9 · 2018/8/25
bd