NameNode堆内存估算 在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对Na ...
分类：
其他好文 时间：
2019-09-08 20:22:09
阅读次数：
81
下图是HDFS的架构： 从上图中可以知道，HDFS包含了NameNode、DataNode以及Client三个角色，当我们的HDFS没有配置HA的时候，那还有一个角色就是SecondaryNameNode，这四个角色都是基于JVM之上的Java进程。既然是Java进程，那我们肯定可以调整这四个角色使 ...
分类：
其他好文 时间：
2019-09-08 20:20:22
阅读次数：
444
在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slav ...
分类：
其他好文 时间：
2019-09-08 19:52:36
阅读次数：
105
hadoop是一种主从架构模型 主（NameNode节点）：保存文件元数据（描述文件的数据），单节点。 从（DataNode节点）：保存文件Block数据，多节点。 DataNode和NameNode保持心跳，提交Block列表。 HdfsClient和NameNode交互元数据信息找到Block位 ...
分类：
其他好文 时间：
2019-09-03 00:11:00
阅读次数：
128
1.问题 执行start-dfs.sh后在进程中查看jps，发现NameNode启动，但DataNode没有 2.原因 在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致 原因可能是多次Hadoop namenode -format导致c ...
分类：
其他好文 时间：
2019-09-02 19:20:40
阅读次数：
282
namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。 ...
分类：
系统相关 时间：
2019-08-30 17:10:45
阅读次数：
112
大数据学习路线分享Hadoop阶段的高可用配置，什么是Hadoop的HA机制 Ha机制即Hadoop的高可用（7*24小时不中断服务） 正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HAHDFS的HA机制详解HDFS的HA主要是通过双namenode协调工作实现双namenode协调
分类：
其他好文 时间：
2019-08-28 23:57:40
阅读次数：
186
1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件，这时就是HDSF分布式系统所获取的一个对象 2.FileSystem通过远程协议调用NameNode确定文件的前几个Block的位置，对于每一个block,NameNode返回一个含有Block的元数据信息，接下来DataNode按照上面定义的距离(offSet偏移量)进行排序,如果Client本身即是一
分类：
其他好文 时间：
2019-08-28 17:08:14
阅读次数：
87
HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题。分NameNode、SecondaryNameNode、DataNode这几个角色。 ...
分类：
其他好文 时间：
2019-08-28 09:14:04
阅读次数：
87
HDFS存储方式： 将用户的文件分块，分散在多台主机上，同时每个块又有多个备份，多个备份不会出现在一台主机上，以确保即使一台主机出现问题，文件的访问依然正常。但是由于用户访问文件用的是一个路径指向一个文件，而具体的文件是被分块的，所以对于文件具体存储和路径之间存在映射关系，这个映射关系由nameno ...
分类：
其他好文 时间：
2019-08-26 00:30:06
阅读次数：
74
