返回信息流麻烦问下各位:现在希望在web网页端指定一个新浪用户的uid,然后根据此uid得到相应的url后让scrapy去爬取微博内容。之前用都是写好的uid让scrapy去爬取,没有做过类似这样交互式的。麻烦各位提供一下解决的可行思路。感觉不尽!!
这是一条镜像帖。来源:北邮人论坛 / python / #8243同步于 2015/8/21
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖
求助利用scrapy实现网页交互式爬虫思路
zjd10211766
2015/8/21镜像同步5 回复
订阅后,新回复会通过你的通知中心匿名送达。
5 条回复
scrapy默认一个project结束以后程序退出,想要交互lz可以重点了解下scrapy结束的原理,会有惊喜的。
另外,这个任务的需求貌似也不一定非要用scrapy,urllib加上lxml等妥妥可以解决。