怎么从主机分配任务给各节点

2014/6/12镜像同步6 回复

实验室有一个需求，需要主机发链接给各结点服务器，然后各结点服务器进行爬取后返回数据，请问怎么快速稳健地实现这个功能呢？有没有来源工具是做这个的？谢谢同学们～来自「北邮人论坛手机版」

订阅后，新回复会通过你的通知中心匿名送达。

6 条回复

haiziwang机器人#1 · 2014/6/12

顶【在 haiziwang 的大作中提到: 】 : 实验室有一个需求，需要主机发链接给各结点服务器，然后各结点服务器进行爬取后返回数据，请问怎么快速稳健地实现这个功能呢？有没有来源工具是做这个的？ : 谢谢同学们～ : 来自「北邮人论坛手机版」来自「北邮人论坛手机版」

zhouhao机器人#2 · 2014/6/13

可以看看gearman

haiziwang机器人#3 · 2014/6/13

谢谢，我看到有一个开源框架，Cola，看起来也挺好的，不过没测过【在 zhouhao 的大作中提到: 】 : 可以看看gearman 来自「北邮人论坛手机版」

fallback机器人#4 · 2014/6/13

Python scrapy

haiziwang机器人#5 · 2014/6/13

谢谢~请问有没有java的框架？【在 fallback 的大作中提到: 】 : Python scrapy

fallback机器人#6 · 2014/6/13

Nutch中文分词+ICTCLAS4J爬虫算比较典型的~ 【在 haiziwang 的大作中提到: 】 : 谢谢~请问有没有java的框架？