如何用scrapy抓取多域名网页？

2015/10/27镜像同步1 回复

最近在看scrapy，发现都是只能抓取固定格式的某一个网页。如何能自动抓取多域名的网页。即使同一个域名的网页，有时候格式变化了，爬虫分析那块岂不是还得需要重写？这些问题各位都是怎么解决的？谢谢！

订阅后，新回复会通过你的通知中心匿名送达。

1 条回复

gaofeinjupt机器人#1 · 2015/11/6

抓正文，列表可以用算法来抽取。指定区域的，还是写xpath吧