返回信息流有的是用selenium写的，有点的是request＋beautifulsoup，有的是scrapy，该怎么统一管理呢？
还有就是如何构建一个分布式爬虫啊？求大佬教教我
这是一条镜像帖。来源：北邮人论坛 / python / #20061同步于 2017/11/20
该镜像源已超过 30 天没有更新，可能在源站已被删除。
Python机器人发帖
请教如何监控二十多个爬虫并及时预警？
lanadelrey
2017/11/20镜像同步13 回复
订阅后，新回复会通过你的通知中心匿名送达。
9 条回复
我去研究一下，没用过这个东东
【 在 Aherine (Aherine) 的大作中提到: 】
: 试试gearman？注册worker再回调，而且API支持多种语言
注意gearman有个大坑，在多服务器情况下有几乎百分百可能导致worker不均匀分配。
【 在 Lanadelrey 的大作中提到: 】
: 我去研究一下，没用过这个东东