http://www.tuicool.com/articles/BZBVfaM ...
分类:
编程语言 时间:
2017-05-18 16:53:04
阅读次数:
253
原文地址:http://www.cnblogs.com/xrq730/p/5186728.html 一致性Hash算法 关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中"一致性Hash算法"部分,对于为什么要使用一致性Hash算法、一致性Hash算法的算法原 ...
分类:
编程语言 时间:
2017-05-16 11:00:47
阅读次数:
218
Spark性能优化指南——高级篇 [TOC] 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中... ...
分类:
其他好文 时间:
2017-05-14 23:48:10
阅读次数:
506
edis从3.0开始支持集群功能。redis集群采用无中心节点方式实现,无需proxy代理,客户端直接与redis集群的每个节点连接,根据同样的hash算法计算出key对应的slot,然后直接在slot对应的redis上执行命令。在redis看来,响应时间是最苛刻的条件,增加一层带来的开销是redi ...
分类:
其他好文 时间:
2017-05-13 17:04:08
阅读次数:
248
回到目录 Twenproxy除了可以作为redis的代理,它同样支持memerycached。我这里主要了解Twemproxy在redis集群上的解决方案。Twemproxy除了完美的解决了分片,路由等功能(同样采用了一致性hash算法) Twenproxy实现redis集群高可用 它支持node ...
分类:
其他好文 时间:
2017-05-12 14:26:04
阅读次数:
261
本文不讲hash算法,而主要是分析redis中的dict数据结构的特性--分步rehash。 首先看下数据结构:dict代表数据字典,每个数据字典有两个哈希表dictht,哈希表采用链式存储。 增加新节点函数,调用dictAddRaw,先增加节点的键,而不赋值,只有增加成功后才赋值。每次增加新节点, ...
分类:
其他好文 时间:
2017-05-11 01:04:56
阅读次数:
270
BLOOM FILTERS Bloom filters的研究主要用在akamai的CDN中的两个场景:1)索引管理优化;2)内容过滤。 Bloom filters是hash算法的一个变种,有非常优秀的空间效率(使用位数组)和时间效率(插入的时间复杂度稳定为常数),但是会有一定的错误率。直观的说,bl ...
分类:
编程语言 时间:
2017-05-08 14:33:53
阅读次数:
214
加密算法:MD5、SHA,DES,AES,IDEA,RSA、BlowFish 一:单向散列算法 单向散列算法:1.也就是Hash算法,将任意长度的消息队列压缩成某一固定长度的函数, 2.过程不可逆,只是单向过程, 3.包括MD5,SHA,N-Hash, MD5:消息摘要算法,对输入任意长度的消息进行 ...
分类:
编程语言 时间:
2017-05-07 23:18:36
阅读次数:
261
一、概述 1、我们的memcacheclient(这里我看的spymemcache的源代码)。使用了一致性hash算法ketama进行数据存储节点的选择。与常规的hash算法思路不同。仅仅是对我们要存储数据的key进行hash计算,分配到不同节点存储。一致性hash算法是对我们要存储数据的serve ...
分类:
编程语言 时间:
2017-05-05 19:23:15
阅读次数:
213
1、背景 我们都知道memcached服务器是不提供分布式功能的,memcached的分布式完全是由客户端来实现的。在部署memcached服务器集群时,我们需要把缓存请求尽可能分散到不同的缓存服务器中,这样可以使得所有的缓存空间都得到利用,而且可以降低单独一台缓存服务器的压力。 最简单的一种实现是 ...
分类:
编程语言 时间:
2017-04-25 23:37:51
阅读次数:
336