爬虫去重策略

标签：哈希   bloom   url   方法   bsp   字符   rap   存在   nbsp   

1，将所有访问过的url保存在数据库中

2，将访问过的url保存在内存中，只需要o(1)代价就可以查询url

    1000000000*2byte*50个字符/1024/1024/1024≈9G

3，url经过md5等方法哈希后保存到内存中 （scrapy用的方法）

4，用bitmap方法，将访问过的url通过hash函数映射到某一位

5，bloomfilter方法对bitmap进行改进，多重hash函数降低冲突

爬虫去重策略

标签：哈希   bloom   url   方法   bsp   字符   rap   存在   nbsp   

原文地址：https://www.cnblogs.com/zhoulixiansen/p/9893476.html