HDFS是一个分布式文件存储系统 Client 提交读写请求(拆分blocksize) NameNode 全局把控(知道blocksize的地址) dataNode 存储数据(将数据存储进去,且以Pipeline的方式把数据写完) 1.如果你要把数据写到HDFS上去,的流程是 发起请求-client ...
分类：
其他好文 时间：
2018-07-22 00:28:52
阅读次数：
169
一、HDFS相关 1、启动NameNode sbin/hadoop-daemon.sh start namenode 2、启动DataNode sbin/hadoop-<span style="color:#ff0000;">daemon</span>.sh start datanode [plai ...
分类：
其他好文 时间：
2018-07-17 14:12:39
阅读次数：
206
深入理解hadoop之机架感知 机架感知 hadoop的replication为3，机架感知的策略为： 第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机 ...
分类：
其他好文 时间：
2018-07-15 11:16:43
阅读次数：
204
安全模式概述 安全模式是 HDFS 所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求，是一种保护机制，用于保证集群中的数据块的安全性。 在NameNode主节点启动时，HDFS首先进入安全模式，集群会开始检查数据块的完整性。DataNode 在启动的时候会向 ...
分类：
其他好文 时间：
2018-07-13 23:21:50
阅读次数：
180
最近做集群机房迁移，在旧机房和新机房之间接了根专线，做集群不停机搬迁，也就是跨机房，同时要新加百多台服务器，遇到几个问题，记录一下。旧集群的机器是centos 6, 新机房加的机器是centos 7。一、丢包问题在跨机房的时候，datanode显示很多Slow BlockReceiver的日志WARN org.apache.hadoop.hdfs.server.datanod
分类：
其他好文 时间：
2018-07-13 16:21:59
阅读次数：
251
1、基本概念-块（block）-namenode-datanode hdfs文件分成块存储，默认64M，块是文件存储的逻辑单元hdfs有两类节点：nomenode、datanode nomenode是管理节点，存放文件元数据（1）文件与数据块的映射表（2）数据块与数据节点的映射表datanode是h ...
分类：
其他好文 时间：
2018-07-13 00:03:08
阅读次数：
147
上一篇blog我们完成了Hadoop伪分布式环境的搭建，伪分布式模式也叫单节点集群模式， NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境，运行 ...
分类：
其他好文 时间：
2018-07-07 13:50:03
阅读次数：
223
一、集群简介 HADOOP 集群具体来说包含两个集群：HDFS 集群和 YARN 集群，两者逻辑上分离，但物理上常在一起。 HDFS 集群负责海量数据的存储，集群中的角色主要有： NameNode、DataNode、SecondaryNameNode YARN 集群负责海量数据运算时的资源调度，集群 ...
分类：
其他好文 时间：
2018-07-04 22:52:26
阅读次数：
259
分布式系统的一个优势就是动态可伸缩性，如果增删节点需要重启那肯定是不行的。后来研究了一下，发现的确是不需要重启的。以spark和hadoop为例：不用重启集群，直接在新增的节点上分别启动以下进程即可：一、hadoop增加datanode节点因为1.x版本和2.x版本有比较大的差异，我这里是以2.7为例。在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和log
分类：
其他好文 时间：
2018-07-02 12:34:16
阅读次数：
180
DataManager启动失败 启动过程中发现一个问题：slave1,slave2,slave3都是只启动了DataNode，而DataManager并没有启动： 这里一个错误原因可以从： slaves各自的nodemanager日志查看。 查看slave1虚拟机的/opt/hadoop-2.9.0 ...
分类：
其他好文 时间：
2018-06-30 17:01:41
阅读次数：
208
