一、什么是布隆过滤器 在数学之美中，有一章是关于布隆过滤器的讲解，内容如下。 在字处理软件中，一个英语单词是否拼写正确；在FBI中，一个嫌疑人的名字是否在嫌疑名单上；在网络爬虫里，一个网址是否已访问过，等等。最直接的方法就是将集合中
分类：
数据库 时间：
2018-04-13 12:06:41
阅读次数：
289
处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！1. Bloom filter Bloom filter是一种二进制向量数据结构，具有很好的空间效率和时间效率，可用来检测一个元素是否属于一个集合。该方法的优点是它的插入和查询时间都是常数
分类：
其他好文 时间：
2018-03-23 19:24:33
阅读次数：
226
布隆过滤器 (Bloom Filter)是由Burton Howard Bloom于1970年提出，它是一种space efficient的概率型数据结构，用于判断一个元素是否在集合中。 看看下面几个问题： 字处理软件中，需要检查一个英语单词是否拼写正确 在 FBI，一个嫌疑人的名字是否已经在嫌疑名 ...
分类：
其他好文 时间：
2018-03-22 12:36:33
阅读次数：
228
三个题目 第一题 问题描述 统计出当前这个一行一个IP的文件中，到底哪个IP出现的次数最多 解决思路 问题难点 1、当读取的文件的大小超过内存的大小时，以上的解决方案是不可行的。 2、假如说你的内存足够大，能装下这个文件中的所有ip，整个任务的执行效率会非常低，消耗的时间会非常的长。 1GB -- ...
分类：
其他好文 时间：
2018-03-07 20:19:26
阅读次数：
169
原文链接：http://blog.csdn.net/qq_38646470/article/details/794316591.概念：如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路.但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hashtable）的数据结
分类：
其他好文 时间：
2018-03-04 14:36:05
阅读次数：
162
原文链接 :http://blog.csdn.net/qq_38646470/article/details/79431659 1.概念： 如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的 ...
分类：
其他好文 时间：
2018-03-03 19:25:05
阅读次数：
211
--Bloomber 新建基金账户步骤0、执行FIRM命令1、新建account group2、新建account3、将account加入到account group4、将account group授权给用户组5、授权给AI a.执行FIFW TSIP RT b.在bosera asset mgmt ...
分类：
其他好文 时间：
2018-02-23 10:51:00
阅读次数：
215
这周的algo讲的hashing的基本概念，以及universal hashing和bloom filters，说实话后两个我基本没怎么听懂。。。 universal hashing基本是说一种hash functions的构建方法，使得对不同输入的两次hash出现碰撞的概率不大于1/n（n是buc ...
分类：
其他好文 时间：
2018-02-20 10:37:45
阅读次数：
169
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 一、实例 为了说明Bloom Filter存在的重要意义，举一个实例： 假设要你写一个网络蜘蛛（web crawler）。由 ...
分类：
其他好文 时间：
2018-02-03 23:17:12
阅读次数：
349
Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，B ...
分类：
其他好文 时间：
2018-02-03 23:05:00
阅读次数：
162
