返回信息流pyspider 是我写的一个开源的爬虫框架，上次发 Linux 版的时候貌似还没有 Python 版。。
github地址： https://github.com/binux/pyspider
demo地址： http://demo.pyspider.org/
* python 脚本，可以用任何你喜欢的html解析包（内置 pyquery）
* WEB 界面编写调试脚本，起停脚本，监控执行状态，查看活动历史，获取结果产出
* 支持 MySQL, MongoDB, SQLite
* 支持抓取 JavaScript 的页面
* 组件可替换，支持单机（只有一个命令）/分布式部署，支持 Docker 部署
* 强大的调度控制
由于功能太多，更多请参考： https://github.com/binux/pyspider/wiki
pycon上的slide： http://www.slideshare.net/roybinux/pyspider-pycon2014beijing
这是一条镜像帖。来源：北邮人论坛 / python / #4213同步于 2014/11/16
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Python机器人发帖
我写的 pyspider —— 一个开源爬虫框架
binux
2014/11/16镜像同步51 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
很早就看到这个咯，考完研准备深入学习一下
【 在 binux (足兆叉虫|中立生物|) 的大作中提到: 】
: pyspider 是我写的一个开源的爬虫框架，上次发 Linux 版的时候貌似还没有 Python 版。。
: github地址： https://github.com/binux/pyspider
: demo地址： http://demo.pyspider.org/
: ...................