一、高可用简介 二、集群规划 三、前置条件 四、集群配置 五、启动集群 六、查看集群 七、集群的二次启动 一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性 ...
分类：
其他好文 时间：
2019-06-25 09:44:28
阅读次数：
100
一、说明 本次配置基于上一篇博客《Hadoop完全分布式搭建全过程》做补充，基于完全分布式做高可用搭建。。。。。。 二、原理 Hadoop1.X中只有一个NameNode，所有元数据信息都被这个NameNode管理，存在两个问题：单点故障和内存压力大，所以在Hadoop2.X中对两个存在的问题分别有 ...
分类：
其他好文 时间：
2019-05-06 18:46:55
阅读次数：
132
Top NSD ARCHITECTURE DAY07 案例1：Zookeeper安装 步骤一：安装Zookeeper 案例2：Kafka集群实验 案例3：Hadoop高可用 案例4：高可用验证 1 案例1：Zookeeper安装 1.1 问题 本案例要求： 搭建Zookeeper集群并查看各服务器的 ...
分类：
其他好文 时间：
2019-04-28 18:49:56
阅读次数：
202
一. HA概述 1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。 2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SP ...
分类：
其他好文 时间：
2018-12-16 14:33:19
阅读次数：
158
若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。*Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务，而状态为StandB
分类：
其他好文 时间：
2018-12-13 16:30:24
阅读次数：
221
1什么是HA集群？ 所谓HA，即高可用（7*24小时不中断服务） HA集群是hadoop高可用集群，即有两个namenode，一个active，一个stanby，active的name挂掉之后，stanby的namenode就会切换成active， 最关键的是消除单节点故障 双namenode协调工 ...
分类：
其他好文 时间：
2018-11-29 15:39:38
阅读次数：
270
zookeeper介绍 是一个分布式服务的协调服务，集群半数以上可用（一般配置为奇数台）， 快速选举机制：当集群中leader挂掉，所有小弟会投票选举出新的leader。 快速同步数据：zk将会存储小量用于服务做协调的数据。 标准文件系统用于存储大量数据；而zk存储小量协调数据 标准文件系统文件就是 ...
分类：
其他好文 时间：
2018-10-18 20:18:40
阅读次数：
187
NameNode 高可用 ?为什么 NameNode 需要高可用 – NameNode 是 HDFS 的核心配置,HDFS 又是 Hadoop 的核心组件,NameNode 在 Hadoop 集群中至关重要,NameNode机器宕机,将导致集群不可用,如果NameNode 数据丢失将导致整个集群的数 ...
分类：
其他好文 时间：
2018-09-05 17:36:05
阅读次数：
204
1、将zookeeper-3.4.6.tar.gz解压（例：root目录下） 2、将/root/zookeeper-3.4.6/conf/zoo_simple.cfg修改为zoo.cfg 并修改zookeeper存放文件的目录：dataDir=/tmp/zookeeper 添加： #其中1、2、3是 ...
分类：
其他好文 时间：
2018-04-10 13:23:54
阅读次数：
175
