摘自:https://www.cnblogs.com/tgzhu/p/5790565.html hadoop2.X HA 原理: hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA方案,它给出了一种较好的解决 ...
分类:
其他好文 时间:
2018-01-29 21:26:55
阅读次数:
610
Paxos自1990年提出以后,相当长时间内几乎已成为分布式一致性算法的代名词。但因其难以理解和实现,目前知名实现仅有Chubby、Zookeeper、libpaxos几种,其中Zookeeper使用的ZAB对Paxos做了大量改进。为此,2013年斯坦福的Diego Ongaro、John Ousterhout,提出了新的更易理解和实现的一致性算法,即Raft。
分类:
编程语言 时间:
2018-01-10 11:39:24
阅读次数:
195
Paxos是Lamport大神在1990年提出的,用来解决分布式系统一致性问题的算法。 分布式系统的一致性关注两个问题: 如何就某个决议达成一致 如何在决议过程结束后保证能最终达成一致 例如,在对某个变量达成一致的过程中,会有多个关于这个变量的值的提议。一致性协议需要保证仅有一个被提议值被最终选择, ...
分类:
编程语言 时间:
2018-01-08 11:02:16
阅读次数:
170
分布式一致性协议 二阶段提交协议(2pc) 三阶段提交协议(3pc) paxos zab 在分布式系统中,每个机器都可以确定自己进行的事务操作是否成功,但是无法直接了解其他机器的操作结果。因此,当一个分布式事务操作需要保持ACID 特性时,就需要一个“协调者”节点调度其他“参与者”节点来进行分布式事 ...
分类:
其他好文 时间:
2017-12-29 23:34:16
阅读次数:
227
转载自http://blog.csdn.net/xhh198781/article/details/10949697 1 Paxos算法 1.1 基本定义 算法中的参与者主要分为三个角色,同时每个参与者又可兼领多个角色: ⑴proposer 提出提案,提案信息包括提案编号和提议的value; ⑵ac ...
分类:
编程语言 时间:
2017-12-27 15:36:09
阅读次数:
162
在分布式的情况下,出于可用性(单点问题导致全部不可用)和规模性(单点支撑能力有限)的考虑,通过使用多个参与者提供服务。 如何保证通过多个参与者写入和读取的值相同,即分布式中的数据一致性,是一个复杂的问题。 为了保持一致性,一般是两种方案,一种是所有节点每个事务里都一致(强一致);另一种不是所有节点在 ...
分类:
编程语言 时间:
2017-12-22 00:36:25
阅读次数:
179
说明:本文为读《从Paxos到Zookeeper 分布式一致性原理与实践》读书笔记 shell操作 Java客户端 原始API pom文件: Java代码: 使用ZkClient客户端 pom.xml 创建节点: 相比原始API,ZkClient创建Znode的特性: + 支持同步创建。 + 更丰富 ...
分类:
其他好文 时间:
2017-12-21 01:52:07
阅读次数:
270
Hyperledger 项目是来自 Linux 基金会的一个新的协作项目 Hyperledger Fabric 是区块链技术的实现,目标是成为开发区块链应用和解决方案的基础。 https://wenku.baidu.com/view/0f89391b03020740be1e650e52ea55181 ...
分类:
其他好文 时间:
2017-12-20 18:54:32
阅读次数:
151
从这周开始深入学习Zookeeper,主要是看PAXOS到ZOOKEEPER分布式一致性理论与实践以及Zookeeper3.5的源码,在整个学习过程中会整理一些学习笔记。 1.分布式基本概念 分布式系统是一个硬件或者软件组件分布在不同网络计算机上,彼此之间仅仅通过消息传递来进行通信和协调的系统。一个 ...
分类:
其他好文 时间:
2017-12-16 16:03:40
阅读次数:
181
Multi Paxos 通过以上步骤分布式系统已经能确定一个值,“只确定一个值有什么用?这可解决不了我面临的问题。” 你心中可能有这样的疑问。 其实不断地进行“确定一个值”的过程、再为每个过程编上序号,就能得到具有全序关系(total order)的系列值,进而能应用在数据库副本存储等很多场景。我们 ...
分类:
其他好文 时间:
2017-12-06 00:49:22
阅读次数:
202