HDFS高可用环境HA的架构 HDFS组件由一个对外提供服务的namenode（存储元数据）和N个datanode组成；Zookeeper有三个作用：1.为了统一配置文件 config 2.多个节点的进程要修改公共变量的话，zookeeper会加一个锁 3.仲裁 （必须是奇数个节点，自己组成一个集群 ...
分类：
其他好文 时间：
2019-04-07 20:27:28
阅读次数：
129
我查看了网上的原因，把core.site.xml里的以下配置复制到了hdfs.site.xml里，三台机器都要复制，复制完以后在重新启动hadoop集群，嗯~~~启动了一个nn，还有一个nn没有起来，然后如果你也另一个namenode没有起来请看我另一篇文章吧！！！https://www.cnblo ...
分类：
其他好文 时间：
2019-04-07 14:34:25
阅读次数：
392
主要功能： 1、存储：HDFS 2、分析/运算：Mapreduce 3、调度：YARN 存储： hdfs分布式文件存储系统，是nosql数据库，每台节点服务器都是hdfs的部分，大数据平均分布在每个节点上，并且是以文件存储的形式，每个节点上存储的部分数据有通过块来进行数据文件的分片，形成数据块，每个 ...
分类：
其他好文 时间：
2019-04-06 23:03:41
阅读次数：
139
1.添加Classpath isolation，防止不同版本的jar包出现冲突。 2.支持Shell重写。 3.支持HDFS中的擦除编码【Erasure Encoding】，默认的EC策略可以节省50%的存储空间，同时还可以承受更多的存储故障。 4.DataNode内部添加了负载均衡【Disk Ba ...
分类：
其他好文 时间：
2019-04-05 14:18:17
阅读次数：
174
1、datanode无法启动 问题描述：使用命令 hadoop-daemons.sh start datanode ，没有报错信息，但jps时没有启动datanode 解决方式：查看日志 logs/hadoop-centos-datanode*.log 可能出现的问题： 在集群多次重新格式化HDFS ...
分类：
其他好文 时间：
2019-04-03 09:24:30
阅读次数：
212
用来测试，我在VMware下用Centos7搭起一个三节点的Hadoop完全分布式集群。其中NameNode和DataNode在同一台机器上，如果有条件建议大家把NameNode单独放在一台机器上，因为NameNode是集群的核心承载压力是很大的。hadoop版本：Hadoop-2.7.4； had ...
分类：
其他好文 时间：
2019-03-31 13:35:26
阅读次数：
201
Hadoop 服务划分 使用三台节点，集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager ...
分类：
其他好文 时间：
2019-03-30 23:59:19
阅读次数：
346
最近，在生产环境中，hdfs集群数据量已达到存储的90%，亟需对存储空间进行扩容。 通过调研和实验，确定添加datanoe的存储目录比较适合我们的生产环境！在这里记录一下添加数据目录的过程。 第一步：备份hdfs-site.xml配置文件 第二步：添加数据磁盘、格式化，并挂载到/data2目录 第三 ...
分类：
其他好文 时间：
2019-03-30 10:55:15
阅读次数：
217
当前集群 /usr/local/hadoop(软连接) /usr/local/hadoop-2.7.4 /usr/local/zookeeper（软连接） /usr/local/zookeeper-3.4.9 root ...
分类：
其他好文 时间：
2019-03-29 22:18:54
阅读次数：
226
datanode启动不成功，如下所示，我的136,137.138都是datanode，都启动不了。 查看datanode日志文件发现报错： 一个报错Incompatible clusterIDs in /home/hadoop/data/datanode，需要删除core-site.xml中配置的h ...
分类：
其他好文 时间：
2019-03-26 01:34:54
阅读次数：
194
