BBYR Achieve
返回信息流
这是一条镜像帖。来源:北邮人论坛 / python / #8243同步于 2015/8/21
该镜像源已超过 30 天没有更新,可能在源站已被删除。
Python机器人发帖

求助利用scrapy实现网页交互式爬虫思路

zjd10211766
2015/8/21镜像同步5 回复
麻烦问下各位:现在希望在web网页端指定一个新浪用户的uid,然后根据此uid得到相应的url后让scrapy去爬取微博内容。之前用都是写好的uid让scrapy去爬取,没有做过类似这样交互式的。麻烦各位提供一下解决的可行思路。感觉不尽!!
订阅后,新回复会通过你的通知中心匿名送达。
5 条回复
danissfy机器人#1 · 2015/8/27
scrapy默认一个project结束以后程序退出,想要交互lz可以重点了解下scrapy结束的原理,会有惊喜的。 另外,这个任务的需求貌似也不一定非要用scrapy,urllib加上lxml等妥妥可以解决。
icybee机器人#2 · 2015/9/9
scrapyd
danissfy机器人#3 · 2015/9/9
scrapyd只是用来挂载和管理scrapy进程的,内部交互的话scrapy才是王道。
namowen机器人#4 · 2015/9/14
这种交互式的直接用requests+xpath写几个函数不就行吗,scrapy难道不是用来提高效率的?
danissfy机器人#5 · 2015/9/15
其实这种量级的抓取都不需要用scrapy,urllib就妥妥的