码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop高可用原理及环境搭建

时间:2019-05-06 18:46:55      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:方案   完全   cti   http   数据   环境   完全分布式   control   url   

一、说明

  本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充,基于完全分布式做高可用搭建。。。。。。

二、原理

  Hadoop1.X中只有一个NameNode,所有元数据信息都被这个NameNode管理,存在两个问题:单点故障内存压力大,所以在Hadoop2.X中对两个存在的问题分别有对应的解决方案:

  对于单点故障,Hadoop2.X中实现主备模式,有两个NameNode节点,去除之前Hadoop1.X中的SecondaryNameNode节点,用actived和standby状态区分主备机,也就是有两台NameNode主机,一台对外提供服务(actived),另一台处于待命状态(standby),两个NameNode节点有一下几点需要说明:

  1、DataNode共享:两台NameNode存储数据都在同样的DataNode集群

  对于两台主机的状态监测,采用ZK(zookeeper)管理,ZK中ZKFC(zookeeper failover controller)对两台NameNode进行健康检测,ZKFC对应NameNode节点会在zookeeper中抢占锁(向zookeeper创建一个节点,如果已经被创建,说明对方已经抢占锁,自己只能是standby状态)来决定自己处于actived状态还是standby状态,如果

 

Hadoop高可用原理及环境搭建

标签:方案   完全   cti   http   数据   环境   完全分布式   control   url   

原文地址:https://www.cnblogs.com/zmanzi/p/10821161.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!