原因是因为你的hadoop.tmp.dir在/tmp目录下，而linux系统的/tmp文件夹内容能够是定时清理的，所以会导致你看hadoop使用不了了，就反复的格式化namenode会导致上述问题，也有可能是datanode长期没正常启动导致；找了一下资料，有三个解决方案：解決方法一：删除 data ...
分类：
其他好文 时间：
2019-03-25 10:55:25
阅读次数：
211
1) 下载Hadoop http://archive.cloudera.com/cdh5/cdh/5/ 2.6.0-cdh5.7.0 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 2）安装jdk 下载 ...
分类：
其他好文 时间：
2019-03-21 00:57:23
阅读次数：
174
基本概念 首先我们要明确ZKFC 是什么，有什么作用： zkfc是什么？ ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？每个运行NN的节点必须要运行一个z ...
分类：
其他好文 时间：
2019-03-18 13:38:02
阅读次数：
232
来源：https://blog.csdn.net/u011414200/article/details/50336735 一 非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode ...
分类：
其他好文 时间：
2019-03-16 00:26:23
阅读次数：
276
这是因为格式化namenode之后，namenode节点中VERSION的ClusterID会改变！！！ 解决办法： 1.打开namenode节点的hdfs-site.xml文件，查看你的namenode的元数据存储位置和datanode数据存储位置； 2.然后到对应的的目录下找到VERSION文件 ...
分类：
其他好文 时间：
2019-03-12 12:32:36
阅读次数：
197
Active-Standby 1、作用：提供设备冗余 2、物理概念：primary 和 secondary ，需要命令敲得，角色不会切换， 3、虚拟概念：active和standby ，需要选举，角色可以切换。 4、LAN-FO ： 专门一个接口做心跳线，同步配置信息，切换的时候交换IP和MAC，健 ...
分类：
其他好文 时间：
2019-03-06 13:31:33
阅读次数：
305
hadoop version=3.1.2 生产环境中，一台namenode节点突然挂掉了，，重新启动失败，日志如下： 从报错来看，，是获取edit log日志出错。说白点，就是namenode元数据破坏了，需要修复。 解决： （1）、在出错的机器执行如下命令，一路按c或者y （2）、如果第一种没有解 ...
分类：
其他好文 时间：
2019-03-05 15:19:12
阅读次数：
443
