在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slav ...
分类：
其他好文 时间：
2019-09-08 19:52:36
阅读次数：
105
我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下： 目录/home/hadoop-twq/bigdata/dfs/data就是DataNode存放数据的地方，这个目录对应的存储介质就是普通的磁盘(DISK)。除了普通磁盘，存储介质其实还有固态 ...
分类：
其他好文 时间：
2019-09-08 19:50:27
阅读次数：
78
hadoop是一种主从架构模型 主（NameNode节点）：保存文件元数据（描述文件的数据），单节点。 从（DataNode节点）：保存文件Block数据，多节点。 DataNode和NameNode保持心跳，提交Block列表。 HdfsClient和NameNode交互元数据信息找到Block位 ...
分类：
其他好文 时间：
2019-09-03 00:11:00
阅读次数：
128
1.问题 执行start-dfs.sh后在进程中查看jps，发现NameNode启动，但DataNode没有 2.原因 在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致 原因可能是多次Hadoop namenode -format导致c ...
分类：
其他好文 时间：
2019-09-02 19:20:40
阅读次数：
282
Hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math 都属于courses 这个列族。访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权... ...
分类：
其他好文 时间：
2019-09-01 14:55:22
阅读次数：
89
如果你按照的是我的配置文件写的，不能看到datanode很可能是防火墙没关的原因 把防火墙都停了 service iptables stop chkconfig iptables off ...
分类：
Web程序 时间：
2019-08-30 22:29:15
阅读次数：
136
namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。 ...
分类：
系统相关 时间：
2019-08-30 17:10:45
阅读次数：
112
1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一
分类：
其他好文 时间：
2019-08-28 17:08:14
阅读次数：
87
HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类：
其他好文 时间：
2019-08-28 09:14:04
阅读次数：
87
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小 ...
分类：
其他好文 时间：
2019-08-25 12:00:12
阅读次数：
120
