完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类：
其他好文 时间：
2019-09-10 01:16:56
阅读次数：
117
HA概述所谓HA（HighAvailable），即高可用（7*24小时不中断服务）实现高可用最关键的策略是消除单点故障，HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HAHadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNo
分类：
其他好文 时间：
2019-09-09 00:01:51
阅读次数：
119
在NameNode中的Namespace管理层是负责管理整个HDFS集群文件系统的目录树以及文件与数据块的映射关系。以下就是Namespace的内存结构： 以上是一棵文件目录树，可见Namespace本身其实是一棵巨大的树。在这棵树中INodeFile表示文件，INodeDirectory表示文件目 ...
分类：
其他好文 时间：
2019-09-08 20:24:36
阅读次数：
162
NameNode堆内存估算 在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对Na ...
分类：
其他好文 时间：
2019-09-08 20:22:09
阅读次数：
81
下图是HDFS的架构： 从上图中可以知道，HDFS包含了NameNode、DataNode以及Client三个角色，当我们的HDFS没有配置HA的时候，那还有一个角色就是SecondaryNameNode，这四个角色都是基于JVM之上的Java进程。既然是Java进程，那我们肯定可以调整这四个角色使 ...
分类：
其他好文 时间：
2019-09-08 20:20:22
阅读次数：
444
在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slav ...
分类：
其他好文 时间：
2019-09-08 19:52:36
阅读次数：
105
hadoop是一种主从架构模型 主（NameNode节点）：保存文件元数据（描述文件的数据），单节点。 从（DataNode节点）：保存文件Block数据，多节点。 DataNode和NameNode保持心跳，提交Block列表。 HdfsClient和NameNode交互元数据信息找到Block位 ...
分类：
其他好文 时间：
2019-09-03 00:11:00
阅读次数：
128
1.问题 执行start-dfs.sh后在进程中查看jps，发现NameNode启动，但DataNode没有 2.原因 在失败的.log文件中看到datanode的clusterID 和 namenode的clusterID 不一致 原因可能是多次Hadoop namenode -format导致c ...
分类：
其他好文 时间：
2019-09-02 19:20:40
阅读次数：
282
一、什么是回表查询？ 这先要从InnoDB的索引实现说起，InnoDB有两大类索引： 聚集索引(clustered index) 普通索引(secondary index) InnoDB聚集索引和普通索引有什么差异？ InnoDB聚集索引的叶子节点存储行记录，因此， InnoDB必须要有，且只有一个 ...
分类：
数据库 时间：
2019-08-31 12:49:41
阅读次数：
615
namenode namenode 相当于一个领导者，负责调度 比如你需要存一个640m的文件 如果按照64m分块 那么namenode就会把这10个块（这里不考虑副本）分配到集群中的datanode上 并记录对于关系 。当你要下载这个文件的时候namenode就知道在那些节点上给你取这些数据了。 ...
分类：
系统相关 时间：
2019-08-30 17:10:45
阅读次数：
112
