互联网创业中大部分人都是草根创业,这个时候没有强劲的服务器,也没有钱去买很昂贵的海量数据库。在这样严峻的条件下,一批又一批的创业者从创业中获得成功,这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件,通过架构和低成本服务器也可以搭建千万级用户访问量的系...
分类:
其他好文 时间:
2014-10-17 18:24:28
阅读次数:
176
ngx_lua出来很长时间了,但一直没有关注过,最近有一个I/O密集型的项目,用PHP性能严重不足,但是通过C开发扩展成本很大,对需求也不能及时响应,结果尝试了一下lua,结果非常喜人,他的同步非阻塞I/O,协同程序等等,让他的性能无与伦比!在项目的开发中需要用到consistenthas..
分类:
其他好文 时间:
2014-09-30 13:56:50
阅读次数:
294
consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在cache 系统中应用越来越广泛;1 基本场景比如你有 N 个 cache 服务器(后面简称 cache ),那么如何将一个对象 object...
分类:
其他好文 时间:
2014-09-25 20:08:17
阅读次数:
237
一致性Hash 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,经常用于分布式、负载均衡等。原理 一致哈希是一种特殊的哈希算法。在使用一致哈希算法后,哈希表中平均只需要对个关键字重新映射,其中是关键字的数量.....
分类:
编程语言 时间:
2014-09-18 00:33:43
阅读次数:
368
要搭建Redis集群,首先得考虑下面的几个问题;
Redis集群搭建的目的是什么?或者说为什么要搭建Redis集群?
Redis集群搭建的目的其实也就是集群搭建的目的,所有的集群主要都是为了解决一个问题,横向扩展。
在集群的概念出现之前,我们使用的硬件资源都是纵向扩展的,但是纵向扩展很快就会达到一个极限,单台机器的Cpu的处理速度,内存大小,硬盘大小没办法...
分类:
其他好文 时间:
2014-07-31 13:17:56
阅读次数:
347
import java.util.Collection;import java.util.SortedMap;import java.util.TreeMap;public class ConsistentHash { private final HashFunction hashFunction;...
分类:
其他好文 时间:
2014-07-21 10:03:39
阅读次数:
216
分布式的基础:一致性哈希 路由算法的一致性hash http://www.jiacheo.org/blog/174 http://www.tuicool.com/articles/vQVbmai http://www.cnblogs.com/huangxincheng/p/3708316.html ...
分类:
数据库 时间:
2014-07-07 11:31:00
阅读次数:
349
add by zhj:介绍了什么是一致性hash,以及实现一致性hash的一种算法。原文:http://my.oschina.net/u/195065/blog/193614 目录[-]一致性hash算法(consistent hashing)1基本场景2 hash算法和单调性3 consisten...
分类:
其他好文 时间:
2014-07-06 14:30:16
阅读次数:
194
在solrcloud出来之前,如果通过solrj连接solrserver,需要程序自己实现一致性hash.新版本的solr支持cloud的部署方式,可以自动实现lb和sharding的功能(通过CloudSolrServer类连接cloud),可以用下面代码做测试需要的jar包如下:apache-solr-solrj.jar
apache-solr-core.jar
z..
分类:
其他好文 时间:
2014-07-03 14:36:31
阅读次数:
199
背景:
一致性Hash用于分布式缓存系统,将Key值映射到具体机器Ip上,并且增加和删除1台机器的数据移动量较小,对现网影响较小
实现:
1 Hash环:将节点的Hash值映射到一个Hash环中,每个Key顺时针第一个找到的节点,就是这个Key被路由到的机器
2 "虚拟节点":将节点虚拟成多个"虚拟节点"分布在Hash环上,使得分布更均匀,扩缩容影响较小...
分类:
其他好文 时间:
2014-06-07 14:26:39
阅读次数:
256