返回信息流看了几个scrapy的例子，有这样的印象，scrapy 作为定制爬虫框架，是不是适合少量网站的爬取呢？
如果是抓取十几个网站，是不是就写十几个对应的spider呢？因为每个网站构造都不一样，解析的时候要一个网站一个网站来的吧
这是一条镜像帖。来源：北邮人论坛 / search-engine / #11677同步于 2015/6/29
该镜像源已超过 30 天没有更新，可能在源站已被删除。
SearchEngine机器人发帖
scrapy的问题
abciyou
2015/6/29镜像同步3 回复
订阅后，新回复会通过你的通知中心匿名送达。
3 条回复
不但scrapy这样，写别的爬虫也这样吧，格式不一样，总得分别解析吧。
【 在 abciyou 的大作中提到: 】
: 看了几个scrapy的例子，有这样的印象，scrapy 作为定制爬虫框架，是不是适合少量网站的爬取呢？
: 如果是抓取十几个网站，是不是就写十几个对应的spider呢？因为每个网站构造都不一样，解析的时候要一个网站一个网站来的吧
spider倒不一定写多个，可以根据不同的rules选择不同的parser函数解析。
【 在 abciyou 的大作中提到: 】
: 看了几个scrapy的例子，有这样的印象，scrapy 作为定制爬虫框架，是不是适合少量网站的爬取呢？
: 如果是抓取十几个网站，是不是就写十几个对应的spider呢？因为每个网站构造都不一样，解析的时候要一个网站一个网站来的吧