码迷,mamicode.com
首页 > 其他好文 > 详细

Gizzard:Twitter开源数据切分中间件

时间:2014-06-02 14:02:49      阅读:280      评论:0      收藏:0      [点我收藏+]

标签:c   code   a   http   width   com   

IT168技术】Gizzard是Twitter在11年4月份新推出的一个通用数据切分中间件,在Twitter的架构中占用重要的作用。

  从图中看到Gizzard主要用于在MYSQL之上,作用是实现数据切分。但目前据说 Gizzard最主要的作用在用于在memcache和redis上。众所周知,memcache和redis本身缺少(或者实现较弱)主从同步机制。在 这里Gizzard的作用就不仅仅是数据切分,还有备份多写、异常队列等多项功能。

  bubuko.com,布布扣

  官方介绍如下:

Gizzard: a library for creating distributed datastores

   按照官方翻译是:一个用于创建分布式存储数据的库。但从功能上来说,Gizzard更适合叫做一个通用的数据切分中间库。如下图所示

  bubuko.com,布布扣

  Gizzard的主要功能如下:

  ①支持不同的底层数据存储。Redis/Memcache/Mysql等都支持,原则上只要写操作幂等(也就是写操作与顺序无关)则都可以支持。

  ②通用数据拆分支持。支持一致性hash、主键mod、自定义拆分函数等多种方式。

  ③通过replication tree实现不同节点数据的备份机制。

  ④容错机制。在一台机器出问题后,会自动保存更新延迟队列,在恢复后重新执行,从而保证一致性。

  ⑤快速的迁移。

Gizzard:Twitter开源数据切分中间件,布布扣,bubuko.com

Gizzard:Twitter开源数据切分中间件

标签:c   code   a   http   width   com   

原文地址:http://www.cnblogs.com/scwanglijun/p/3763069.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!