一、概念 1. 布隆过滤器是一个数据结构：bit数组+随机映射函数 2. 作用：高效判断某个元素是否在给定的集合中 3. 缺点：有一定的错误识别率，随着数据量越大，错误识别率越大；并且不容易删除 二、原理 1. 加入元素： a. 使用布隆过滤器中的哈希函数，计算元素的哈希值，可能有多个哈希函数，对应 ...
分类：
其他好文 时间：
2020-01-11 13:06:02
阅读次数：
63
Hash算法在应用中又称为指纹(fingerprint)或者摘要(digest)算法,是一种将任意长度的明文串映射为较短的数据串(hash值)的算法，目前的Hash算法主要是MD5系列算法与SHA系统算法 一个好的Hash算法需要具有四个特性，即正向快速 ，逆向困难，输入敏感 ，冲突避免 正向快速 ...
分类：
编程语言 时间：
2020-01-08 19:27:17
阅读次数：
119
一:布隆过滤器：Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positi ...
分类：
其他好文 时间：
2019-12-22 10:54:40
阅读次数：
69
布隆过滤器的概念
布隆过滤器（Bloom Filter）于 1970 年由布隆提出的，是专门 用于检索一个元素是否存在于一个集合中的算法。
你可能会想，判断一个元素是否在集合中，这不就是集合自带的功能吗？
元素数量少的时候的确没问题，但如果有海量元素时就麻烦了，例如千万，甚至上亿个元素，而且每个元素的大小不一，有可能很大，这时集合的空间效率和查询效率都会堪忧。
而布隆过滤器就可以巧妙的解决这个问题，它包括了一个很长的二进制向量和一系列的hash函数，它不会实际存储元素内容，只是在二进制向量中标识这个元素是否存在，而 hash 函数就是用来定位元素的。
分类：
其他好文 时间：
2019-11-27 09:17:20
阅读次数：
95
Bloom Filter在Hudi中的应用 介绍 Bloom Filter可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，主要缺点是存在一定的误判率：当其判断元素存在时，实际上元素可能并不存在。而当判定不存在时，则元素一定不存在，Bloom Filter在对精 ...
分类：
其他好文 时间：
2019-11-25 20:11:19
阅读次数：
59
使用JDK自带的Set集合来进行URL去重，看上去效果不错，但是这种做法有一个致命了缺陷，就是随着采集的URL增多，你需要的内存越来越大，最终会导致你的内存崩溃。那我们在不使用数据库的情况下有没有解决办法呢？布隆过滤器！它就可以完美解决这个问题，布隆过滤器有什么特殊的地方呢？接下来就一起来学习一下布隆过滤器。什么是布隆过滤器布隆过滤器是一种数据结构，比较巧妙的概率型数据结构，它是在1970年由一个
分类：
其他好文 时间：
2019-11-13 19:19:08
阅读次数：
100
最近看流式系统的时候有提到Exactly Once 策略 可以使用布隆过滤器(Bloom Filter) 优化, 所以今天来整理一下与其相关的知识 (非科班, 底子比较薄)。 应用原理: Bloom Filter can return false positives but never false ...
分类：
其他好文 时间：
2019-10-18 22:09:13
阅读次数：
99
https://learnblockchain.cn/2019/04/30/bloom_filter/ 可以理解为 对内容做多次摘要，把内容换成更小体积的标识位来存放。 要判断一个元素是不是在一个集合里，比较容易想到的方法是用数组，链表这样的数据结构把元素保存起来，然后依次比较来确定。 但是随着集合 ...
分类：
其他好文 时间：
2019-10-05 00:48:39
阅读次数：
97
布隆过滤(Bloom Filter)，用于海量数据中查询某个数是否存在。 首先准备一个较大的bit数组，再对海量数据中的每个数据进行多次Hash运算，将每次运算结果作为数组下标，并将下标置为1。 然后随便找一个数，也进行多次Hash运算，在数组中根据下标(运算结果)是否为1，来判断这个数是否存在海量 ...
分类：
其他好文 时间：
2019-09-26 14:48:51
阅读次数：
62
一、布隆过滤器 1、维基百科 布隆过滤器（Bloom Filter）是1970年由布隆提出的。 实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。 优点是不需要存储 key，节省空间，空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除 ...
分类：
其他好文 时间：
2019-08-18 21:40:20
阅读次数：
103
