namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1，两个namenode节点相互免密钥，以完成主备切换 node0002:cd .ssh ss ...
分类：
其他好文 时间：
2020-07-23 01:34:21
阅读次数：
110
什么是脑裂（split-brain）在"双机热备"高可用（HA）系统中，当联系两个节点的"心跳线"断开时(即两个节点断开联系时)，本来为一个整体、动作协调的HA系统，就分裂成为两个独立的节点(即两个独立的个体)。由于相互失去了联系，都以为是对方出了故障，两个节点上的HA软件像"裂脑人"一样，"本能" ...
分类：
其他好文 时间：
2020-07-22 11:26:38
阅读次数：
88
Checkpoint机制 NameNode负责管理元数据，元数据存在内存中，但在磁盘上有元数据镜像文件FSimage和操作日志文件edits 内存中的元数据和磁盘镜像文件有状态差，状态差体现在操作日志文件中 SecondaryNameNode会定期将NameNode上的操作日志文件下载到本地，跟上一 ...
分类：
其他好文 时间：
2020-07-22 01:46:07
阅读次数：
87
1.虚拟机（hadoop11）中的hadoop如是第一次启动，则需要格式化namenode 命令: hadoop namenode -format 注意：如之前有安装过，则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n ...
分类：
其他好文 时间：
2020-07-21 21:36:10
阅读次数：
66
1 HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 Name ...
分类：
其他好文 时间：
2020-07-21 13:55:58
阅读次数：
69
如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行Failover，之所以这样限制是为了避免ping-pong效应。
分类：
数据库 时间：
2020-07-21 11:39:48
阅读次数：
76
nginx的调度算法中hash $remote_addr 和ip_hash是把IP地址的前24位做hash，所以如果你的IP前三段相同时，nginx它会认为是和nginxserver是同一局域网，所以它会把请求调度到同一局域网之前来请求过的后端server上进行响应；当然除了我们可以对源地址做ha... ...
分类：
Web程序 时间：
2020-07-21 09:44:30
阅读次数：
80
1. 环境准备 说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。 1.1 配置说明 本次集群搭建共三台机器，具体说明下: 主机名 IP 说明 hadoop01 10.0.0.10 DataNode、NodeManager、NameNode hadoop02 10.0.0 ...
分类：
其他好文 时间：
2020-07-19 16:31:06
阅读次数：
63
NameNode和Zookeeper的format
分类：
其他好文 时间：
2020-07-19 11:56:56
阅读次数：
99
首先会写出集群的部署规划，然后根据规划编写对应的配置文件 主要包含四个配置文件，包含的，将配置文件改好，然后分发到各个配置文件然后启动集群的时候将会加载配置文件 一、集群的部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode DataNo ...
分类：
其他好文 时间：
2020-07-19 00:55:10
阅读次数：
85
