1.添加Classpath isolation，防止不同版本的jar包出现冲突。 2.支持Shell重写。 3.支持HDFS中的擦除编码【Erasure Encoding】，默认的EC策略可以节省50%的存储空间，同时还可以承受更多的存储故障。 4.DataNode内部添加了负载均衡【Disk Ba ...
分类：
其他好文 时间：
2019-04-05 14:18:17
阅读次数：
174
1、datanode无法启动 问题描述：使用命令 hadoop-daemons.sh start datanode ，没有报错信息，但jps时没有启动datanode 解决方式：查看日志 logs/hadoop-centos-datanode*.log 可能出现的问题： 在集群多次重新格式化HDFS ...
分类：
其他好文 时间：
2019-04-03 09:24:30
阅读次数：
212
用来测试，我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上，如果有条件建议大家把NameNode单独放在一台机器上，因为NameNode是集群的核心承载压力是很大的。hadoop版本：Hadoop-2.7.4； had ...
分类：
其他好文 时间：
2019-03-31 13:35:26
阅读次数：
201
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。 通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。 第一步：备份hdfs-site.xml配置文件 第二步：添加数据磁盘、格式化，并挂载到/data2目录 第三 ...
分类：
其他好文 时间：
2019-03-30 10:55:15
阅读次数：
217
当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root ...
分类：
其他好文 时间：
2019-03-29 22:18:54
阅读次数：
226
datanode启动不成功，如下所示，我的136,137.138都是datanode，都启动不了。 查看datanode日志文件发现报错： 一个报错Incompatible clusterIDs in /home/hadoop/data/datanode，需要删除core-site.xml中配置的h ...
分类：
其他好文 时间：
2019-03-26 01:34:54
阅读次数：
194
原因是因为你的hadoop.tmp.dir在/tmp目录下，而linux系统的/tmp文件夹内容能够是定时清理的，所以会导致你看hadoop使用不了了，就反复的格式化namenode会导致上述问题，也有可能是datanode长期没正常启动导致；找了一下资料，有三个解决方案：解決方法一：删除 data ...
分类：
其他好文 时间：
2019-03-25 10:55:25
阅读次数：
211
[Unit] Description=Datanode After=syslog.target network.target auditd.service sshd.service datanode_precheck.service Requires=datanode_precheck.servic ...
分类：
系统相关 时间：
2019-03-21 11:53:13
阅读次数：
146
这是因为格式化namenode之后，namenode节点中VERSION的ClusterID会改变！！！ 解决办法： 1.打开namenode节点的hdfs-site.xml文件，查看你的namenode的元数据存储位置和datanode数据存储位置； 2.然后到对应的的目录下找到VERSION文件 ...
分类：
其他好文 时间：
2019-03-12 12:32:36
阅读次数：
197
