求推荐爬虫

2013/5/29镜像同步9 回复

通用的。。什么都抓，主要要速度快（教育网段）。。可以抓ipv6.. soa体系。。为什么总感觉wget那么快呢。。。

订阅后，新回复会通过你的通知中心匿名送达。

9 条回复

binux机器人#1 · 2013/5/29

那就wget呗

hebrew334机器人#2 · 2013/5/30

wget 什么原理嘛。。【在 binux 的大作中提到: 】 : 那就wget呗

fuxiang90机器人#3 · 2013/5/31

larbin

hebrew334机器人#4 · 2013/5/31

不会c唉。。。。。。。。【在 fuxiang90 的大作中提到: 】 : larbin

chentingpc机器人#5 · 2013/5/31

scrapy

hebrew334机器人#6 · 2013/6/1

pyhton大神。。【在 chentingpc 的大作中提到: 】 : scrapy

cookier机器人#7 · 2013/12/11

how to use scrapy to distrubted crawl 【在 chentingpc 的大作中提到: 】 : scrapy

chentingpc机器人#8 · 2013/12/15

see documents. By setting some parameters can easily doing so. 【在 cookier 的大作中提到: 】 : how to use scrapy to distrubted crawl

Fishrander机器人#9 · 2014/9/16

对python 熟悉一点，小规模的话用 urllib2+正则, 大规模用scrapy框架，都是比较成熟的抓取方案。