原因是因为你的hadoop.tmp.dir在/tmp目录下，而linux系统的/tmp文件夹内容能够是定时清理的，所以会导致你看hadoop使用不了了，就反复的格式化namenode会导致上述问题，也有可能是datanode长期没正常启动导致；找了一下资料，有三个解决方案：解決方法一：删除 data ...
分类：
其他好文 时间：
2019-03-25 10:55:25
阅读次数：
211
基本概念 首先我们要明确ZKFC 是什么，有什么作用： zkfc是什么？ ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？每个运行NN的节点必须要运行一个z ...
分类：
其他好文 时间：
2019-03-18 13:38:02
阅读次数：
232
来源：https://blog.csdn.net/u011414200/article/details/50336735 一 非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode ...
分类：
其他好文 时间：
2019-03-16 00:26:23
阅读次数：
276
这是因为格式化namenode之后，namenode节点中VERSION的ClusterID会改变！！！ 解决办法： 1.打开namenode节点的hdfs-site.xml文件，查看你的namenode的元数据存储位置和datanode数据存储位置； 2.然后到对应的的目录下找到VERSION文件 ...
分类：
其他好文 时间：
2019-03-12 12:32:36
阅读次数：
197
hadoop version=3.1.2 生产环境中，一台namenode节点突然挂掉了，，重新启动失败，日志如下： 从报错来看，，是获取edit log日志出错。说白点，就是namenode元数据破坏了，需要修复。 解决： （1）、在出错的机器执行如下命令，一路按c或者y （2）、如果第一种没有解 ...
分类：
其他好文 时间：
2019-03-05 15:19:12
阅读次数：
443
bin 下格式化ZKFC，命令./hdfs zkfc -formatZK，报HA is not enable for this namenode错误，如下图 经过检查hdfs_site.xml文件，发现配置错误，因为后面配置的都是nn1，nn2,而红框处，应该也是nn1,nn2，此处要保持前后一致（ ...
分类：
其他好文 时间：
2019-03-04 09:15:56
阅读次数：
740
namenode在内存和磁盘中都保存了fsimage和edits文件 内存中保证hdfs文件系统的访问效率，磁盘中保证hdfs文件系统的安全性 namenode的文件组成： fsimage文件：保存文件系统中直至上次checkpoint为止 的目录和文件元数据 edits文件：保存文件系统中直至上次 ...
分类：
其他好文 时间：
2019-03-01 17:13:53
阅读次数：
213
HDFS分布式文件系统 环境准备： 1.安装java环境 2.配置/etc/hosts 3.配置ssh信任关系（NameNode) 配置文件 (参考 : https://hadoop.apache.org/docs/r2.7.6/） 环境配置文件 /usr/local/hadoop/etc/hado ...
分类：
其他好文 时间：
2019-02-28 18:45:41
阅读次数：
148
