一、问题产生背景 在使用分布式对数据进行存储时，经常会碰到需要新增节点来满足业务快速增长的需求。然而在新增节点时，如果处理不善会导致所有的数据重新分片，这对于某些系统来说可能是灾难性的。 那么是否有可行的方法，在数据重分片时，只需要迁移与之关联的节点而不需要迁移整个数据呢？当然有，在这种情况下我们可 ...
分类：
编程语言 时间：
2016-04-06 23:14:10
阅读次数：
1294
memcached：LRU支持高并发的原因：多路复用IO（消息通知模式）、多线程模式（CPU的核数）分布式方案：#普通hash分布（取模）#一致性hash分布（0-232环）redis：LRU：从数据库中删除一个最近最少访问的key随机淘汰算法：从数据库中随机删除一个keyTTL淘汰算法：从数据库中删除一..
分类：
系统相关 时间：
2016-04-05 14:11:31
阅读次数：
170
手动编写redis代理软件脚本实现类似tweproxy和codes的功能已经实现内容如下：起1个代理ip和端口redisl客户端连接代理然后脚本通过一致性hash分发key到后端的redis脚本如下importSocketServer,sys
fromthreadingimportThread
importsocket
fromhash_ringimportHashRing
redis_s..
分类：
编程语言 时间：
2016-04-04 13:22:08
阅读次数：
320
一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布 ...
分类：
其他好文 时间：
2016-03-31 16:32:15
阅读次数：
198
1，一致性hash函数选择 crc32(范围为0到2的32次方),超过最大值，需要求模 ；md5，求得16进制数据,超过最大值，需要求模 ； 2，对cache server的虚拟节点的某些唯一属性或者属性组合使用第一条中提到的hash函数，将其散列到圆环上； 3，对数据的key使用与第二条相同的ha
分类：
其他好文 时间：
2016-03-10 22:03:25
阅读次数：
191
最近在使用集团内部的TimeTunnel时，想到了中间件的订阅调度策略，可能用到一致性Hash技术,所以查阅了网上其相关的博客与资料，顺便说说自己的一些粗浅理解。 1. 应用场景 如果从十几年前的文章标题”Consistent Hashing and Random Trees“中，可以看出一致性Ha
分类：
编程语言 时间：
2016-03-02 01:43:12
阅读次数：
338
关于一致性hash算法的意义以及其相对于简单求余法（除数求余法）的好处，查看第六章 memcached剖析 注意：真实的hash环的数据结构是二叉树，这里为了简便使用了列表List 1、一致性hash算法的使用地方 memcached服务器 Jedis分片机制 2、真实服务器节点没有虚拟化的一致性h
分类：
编程语言 时间：
2016-02-28 00:58:54
阅读次数：
379
一致性 hash 算法（ consistent hashing ） 张亮 consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出，目前在cache 系统中应用越来越广泛； 1 基本场景 比如你有 N 个
分类：
编程语言 时间：
2016-02-23 18:39:27
阅读次数：
168
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了
分类：
其他好文 时间：
2016-02-23 18:38:02
阅读次数：
147
一致性Hash分布算法分4个步骤：步骤1：将一个32位整数[0 ~ (2^32-1)]想象成一个环，0 作为开头，(2^32-1) 作为结尾，当然这只是想象。步骤2：通过Hash函数把KEY处理成整数。这样就可以在环上找到一个位置与之对应。步骤3：把Memcached服务器群映射到环上，使用Hash
分类：
编程语言 时间：
2016-02-18 19:36:27
阅读次数：
157
