算法第三章 布隆过滤器 + 海量数据管理 ，在哈希表上再压缩数据， 但会存在较低的失误率 + 失误类型：宁可错杀三千不可错放一个，非存储数据小概率判断为存储数据 + bit位数组存储：eg. int数组每位存储0~31位bit数组 + 思想：准备k个哈希函数，哈希值取模bit数组大小m，每个键经过记 ...
分类：
编程语言 时间：
2020-01-16 19:09:06
阅读次数：
84
1.关于redis的缓存击穿和雪崩 缓存击穿：redis缓存系统是根据key来查询value的值，当value不存在的时候，就会去访问数据库（DB），如果大量的请求进来找不到与之对应的value时，会对数据库造成巨大压力，以至于导致数据库瘫痪，这就叫缓存击穿。 解决方案：1.使用布隆过滤器 2.不管 ...
分类：
其他好文 时间：
2020-01-16 12:22:44
阅读次数：
65
一、概念 1. 布隆过滤器是一个数据结构：bit数组+随机映射函数 2. 作用：高效判断某个元素是否在给定的集合中 3. 缺点：有一定的错误识别率，随着数据量越大，错误识别率越大；并且不容易删除 二、原理 1. 加入元素： a. 使用布隆过滤器中的哈希函数，计算元素的哈希值，可能有多个哈希函数，对应 ...
分类：
其他好文 时间：
2020-01-11 13:06:02
阅读次数：
63
布隆过滤器 概念 布隆过滤器是概率型数据结构，由一个二进制向量和一系列随机映射函数组成。它可以用于检索一个元素是否在一个集合中。 实现过程 1. 定义向量长度，并赋初值为0. 2. 定义N个hash函数，并指定个数(1,N) 3. 将需要存储的值经过n个hash计算得出的值作为key来修改向量的值( ...
分类：
其他好文 时间：
2020-01-09 13:37:25
阅读次数：
67
Hash算法在应用中又称为指纹(fingerprint)或者摘要(digest)算法,是一种将任意长度的明文串映射为较短的数据串(hash值)的算法，目前的Hash算法主要是MD5系列算法与SHA系统算法 一个好的Hash算法需要具有四个特性，即正向快速 ，逆向困难，输入敏感 ，冲突避免 正向快速 ...
分类：
编程语言 时间：
2020-01-08 19:27:17
阅读次数：
119
结论：100w数据，key都是字符串（ip:port），map测试时，key存在大概耗时0.01 0.1ms，不存在时大概0.005ms左右，list耗时20 40ms，布隆过滤器0.01 0.2ms左右。除此之外需要考虑占用内存，按255.255.255.255:65535来考虑，用list存储1 ...
分类：
其他好文 时间：
2019-12-23 00:12:31
阅读次数：
181
一:布隆过滤器：Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positi ...
分类：
其他好文 时间：
2019-12-22 10:54:40
阅读次数：
69
目录： redis是什么？都有哪些使用场景？ redis有哪些功能？ redis和memecache有什么区别？ redis为什么是单线程的？ 什么是缓存穿透？怎么解决？ redis支持的数据类型有哪些？ redis支持的java客户端都有哪些？ jedis和 redisson 有哪些区别？ 怎么保 ...
分类：
其他好文 时间：
2019-12-16 19:16:27
阅读次数：
77
from .defaults import BLOOMFILTER_BIT, BLOOMFILTER_HASH_NUMBERclass HashMap(object): def __init__(self, m, seed): self.m = m self.seed = seed def hash ...
分类：
其他好文 时间：
2019-12-09 19:40:54
阅读次数：
130
布隆过滤器的概念
布隆过滤器（Bloom Filter）于 1970 年由布隆提出的，是专门 用于检索一个元素是否存在于一个集合中的算法。
你可能会想，判断一个元素是否在集合中，这不就是集合自带的功能吗？
元素数量少的时候的确没问题，但如果有海量元素时就麻烦了，例如千万，甚至上亿个元素，而且每个元素的大小不一，有可能很大，这时集合的空间效率和查询效率都会堪忧。
而布隆过滤器就可以巧妙的解决这个问题，它包括了一个很长的二进制向量和一系列的hash函数，它不会实际存储元素内容，只是在二进制向量中标识这个元素是否存在，而 hash 函数就是用来定位元素的。
分类：
其他好文 时间：
2019-11-27 09:17:20
阅读次数：
95
