返回信息流论坛上的各位大神,我现在遇到了一个问题,请大家帮帮忙哈。我在抓https://twitter.com/search-home对某些关键词的搜索结果,页面是动态加载的,滑动鼠标会加载出更多的数据。现在通过分析页面元素的network,得到url如下,可是通过这个url在浏览器地址中下载的.json文件与以下python爬虫程序返回的内容不同,内容不全。
import urllib2
urlDefault='https://twitter.com/i/search/timeline?vertical=default&q=killed%20americans%20terrorists&max_position=TWEET-675513852088475648-675513852088475648'
response = urllib2.urlopen(urlDefault)
html = response.read()
大家有遇到类似状况的么?
这是一条镜像帖。来源:北邮人论坛 / python / #10543同步于 2015/12/21
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
Python 动态网页爬虫
weicheng
2015/12/21镜像同步3 回复
订阅后,新回复会通过你的通知中心匿名送达。
3 条回复