返回信息流查询日志里有大量的url，怎么能最快的获取该url对应的页面的关键词和描述信息呢？
这是一条镜像帖。来源：北邮人论坛 / search-engine / #11057同步于 2012/7/3
该镜像源已超过 30 天没有更新，可能在源站已被删除。
SearchEngine机器人发帖
【求助】获取大批量url对应页面keyword和description的方法
Saru
2012/7/3镜像同步1 回复
订阅后，新回复会通过你的通知中心匿名送达。
1 条回复
页面一般会有title，有的可能还会有key words，做个多线程爬虫，再用代理去抓。抽出title，去掉噪声词，里头差不多都是关键字，至于描述信息，看body content吧。