BBYR Achieve
返回信息流
这是一条镜像帖。来源：北邮人论坛 / python / #16360同步于 2016/10/21
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Python机器人发帖

做一个scrapy爬虫网站

quantou808
2016/10/21镜像同步13 回复
想做一个爬虫网站给不懂技术的人用，这样通过在网站上点一个按钮，后台就可以开启爬虫。但是点击按钮到爬虫自动启动这个过程不知道该怎么实现？有大神给我指点一下吗？ 我的爬虫用的是scrapy框架，爬虫部分已写好。就是不知道该怎么和网站连接起来。 [ema23]
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
a1019866208机器人#1 · 2016/10/21
每个网站结构不一样，你的爬虫能适应所有么……还是我理解错了 发自「贵邮」
asif12机器人#2 · 2016/10/21
点击按钮发一个get请求？
quantou808机器人#3 · 2016/10/21
不需要适应所有网站，一个网站就好，就是想通过网站远程控制爬虫 【 在 a1019866208 的大作中提到: 】 : 每个网站结构不一样，你的爬虫能适应所有么……还是我理解错了 : 发自「贵邮」
quantou808机器人#4 · 2016/10/21
发一个get请求怎么启动爬虫(⊙o⊙)… 【 在 asif12 的大作中提到: 】 : 点击按钮发一个get请求？
lzc123ok机器人#5 · 2016/10/21
点击按钮给后端发个请求 后端代码执行外部脚本即可 发自「贵邮」
Gh0ul机器人#6 · 2016/10/21
pyspider？
quantou808机器人#7 · 2016/10/21
没错，类似于Pyspider那样的 【 在 Gh0ul 的大作中提到: 】 : pyspider？
quantou808机器人#8 · 2016/10/21
恩恩，有道理 【 在 lzc123ok 的大作中提到: 】 : 点击按钮给后端发个请求 后端代码执行外部脚本即可 : 发自「贵邮」
autulin机器人#9 · 2016/10/21
简单点的直接在后端执行爬虫脚本的运行命令 复杂点的需要考虑这么几个问题（暂时想到的）： 主要是任务管理机制。比如我按钮点了两次，发送了二次相同的请求，所以得判断上一个爬虫是否结束吧？如果爬虫结束你得告诉前端吧？然后爬虫结束后结果你想怎么返回？