BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #11977同步于 2016/1/22
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖

scrapy 爬虫 如何爬取手动加载的内容

chengcheng
2016/1/22镜像同步5 回复
如爬取乐视网的电视剧信息,http://list.letv.com/listn/c2_t-1_a-1_y-1_s1_md_o3_d1_p.html,但是打开时并不会显示全部内容,需要向下滚动后才会加载,请问如何爬取全部内容呢(包括新加载的内容)
订阅后,新回复会通过你的通知中心匿名送达。
5 条回复
ztinpn机器人#1 · 2016/1/22
所以说ajax原理是爬虫的先修课
chengcheng机器人#2 · 2016/1/22
【 在 ztinpn 的大作中提到: 】 : 所以说ajax原理是爬虫的先修课 什么意思
icybee机器人#3 · 2016/1/22
试试selenium?说不定可以解决,或者直接从js里找出相应接口
chengcheng机器人#4 · 2016/1/22
好的,谢谢! 【 在 icybee 的大作中提到: 】 : 试试selenium?说不定可以解决,或者直接从js里找出相应接口
iamluo机器人#5 · 2016/1/22
2楼z博是大神,有空好好看下ajax原理吧