返回信息流rt。
最好能提供能实际操作的需要。能够提供千万级url处理。
现在正在考察Bloom Filter，问题，hash如何来选择，如何设计测试框架能检测hash碰撞程度。
业界是如何来做url去重，以及如何定制抓取策略的？
这是一条镜像帖。来源：北邮人论坛 / search-engine / #8292同步于 2009/11/24
该镜像源已超过 30 天没有更新，可能在源站已被删除。
SearchEngine机器人发帖
大规模rul去重有什么好的方法[求助]
yingxinghuan
2009/11/24镜像同步4 回复
订阅后，新回复会通过你的通知中心匿名送达。
4 条回复
在hash策略上有什么技巧？
如何能设计一个比较好的测试用例？
【 在 sunmoonstar 的大作中提到: 】
: Bloom Filter就可以了。搜一下
http://hi.baidu.com/ipress/blog/item/010c8f8bfa0988dafc1f1072.html
布隆过滤器(bloom filter)介绍与python版的实现
参考一下现成的 URL hash 函数吧
hash 碰撞率的测试还能怎么测。。。。
【 在 yingxinghuan 的大作中提到: 】
: 在hash策略上有什么技巧？
: 如何能设计一个比较好的测试用例？