返回信息流爬虫还没入门的小菜鸟,大佬知道爬取一个网页的时候出现出现页面跳转该怎么操作?(requests请求得到response 200,debug能看到一个javacript 文件中有跳转的url,原网页中没有跳转网页的url,但是不知如何下手。)
这是一条镜像帖。来源:北邮人论坛 / python / #22753同步于 2018/8/20
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
【问题】爬虫url重定向
CrazyBean
2018/8/20镜像同步10 回复
订阅后,新回复会通过你的通知中心匿名送达。
9 条回复
【 在 boke1208 的大作中提到: 】
: selenium太重了吧。。要是较为普遍,还是requests写个正则或者自己构造跳转吧。
这个想法不错,是怎么实现的?
【 在 pyth0n 的大作中提到: 】
: 添加一些 User-Agent 等的headers试试,尽量模拟成一个正常的浏览器访问
已经用过这种方法,没有效果。