BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #10543同步于 2015/12/21
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖

Python 动态网页爬虫

weicheng
2015/12/21镜像同步3 回复
论坛上的各位大神,我现在遇到了一个问题,请大家帮帮忙哈。我在抓https://twitter.com/search-home对某些关键词的搜索结果,页面是动态加载的,滑动鼠标会加载出更多的数据。现在通过分析页面元素的network,得到url如下,可是通过这个url在浏览器地址中下载的.json文件与以下python爬虫程序返回的内容不同,内容不全。 import urllib2 urlDefault='https://twitter.com/i/search/timeline?vertical=default&q=killed%20americans%20terrorists&max_position=TWEET-675513852088475648-675513852088475648' response = urllib2.urlopen(urlDefault) html = response.read() 大家有遇到类似状况的么?
订阅后,新回复会通过你的通知中心匿名送达。
3 条回复
cxy0213机器人#1 · 2015/12/21
@暖羊羊
jh1机器人#2 · 2015/12/21
可能之一,没有模拟成浏览器
nuanyangyang机器人#3 · 2015/12/21
没遇到过,不懂帮顶。