最近，我在学习搭建hadoop集群，可是搭建完成后当使用start-all.sh启动hadoop的时候，会发现用jps测试的时候一切均显示正常，但通过Hadoop指令向hdfs上传输文件的时候，会报错表示datanode没有正常启动， 在网上找了一些博客讲述是可能防火墙没关，还有就是删除hadoop ...
分类：
其他好文 时间：
2019-09-16 11:55:30
阅读次数：
95
secondary namenode NameNode职责是管理元数据信息，DataNode的职责是负责数据具体存储，那么SecondaryNameNode的作用是什么？对很多初学者来说是非常迷惑的。它为什么会出现在HDFS中。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不 ...
分类：
其他好文 时间：
2019-09-14 22:47:38
阅读次数：
139
一、 Hadoop集群动态扩容、缩容 随着公司业务的增长，数据量越来越大，原有的datanode节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。也就是俗称的动态扩容。 有时候旧的服务器需要进行退役更换，暂停服务，可能就需要在当下的集群中停止某些机器上hadoop的服务 ...
分类：
其他好文 时间：
2019-09-14 19:25:13
阅读次数：
278
1.hadoop1.x和hadoop2.x区别 2.组件介绍 HDFS架构概述1)NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等.2)DataNode(dn): 在本地文件系统存储文件块数 ...
分类：
其他好文 时间：
2019-09-13 15:50:23
阅读次数：
112
我们在微职位课程DataNode心跳机制的作用讲解了DataNode的三个作用： 以上第1和第2个动作都是在DataNode启动的时候发生的，register的步骤主要功能是使得这个DataNode成为HDFS集群中的成员，DataNode注册成功后，DataNode会将它管理的所有的数据块信息，通 ...
分类：
其他好文 时间：
2019-09-08 20:31:58
阅读次数：
165
NameNode堆内存估算 在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对Na ...
分类：
其他好文 时间：
2019-09-08 20:22:09
阅读次数：
81
下图是HDFS的架构： 从上图中可以知道，HDFS包含了NameNode、DataNode以及Client三个角色，当我们的HDFS没有配置HA的时候，那还有一个角色就是SecondaryNameNode，这四个角色都是基于JVM之上的Java进程。既然是Java进程，那我们肯定可以调整这四个角色使 ...
分类：
其他好文 时间：
2019-09-08 20:20:22
阅读次数：
444
在HDFS集群的运维过程中，肯定会遇到DataNode的新增和删除，即上线与下线。这篇文章就详细讲解下DataNode的上线和下线的过程。 背景 在我们的微职位视频课程中，我们已经安装了3个节点的HDFS集群，master机器上安装了NameNode和SecondaryNameNode角色，slav ...
分类：
其他好文 时间：
2019-09-08 19:52:36
阅读次数：
105
我们在安装HDFS的时候，我们在hdfs-site.xml配置过DataNode的数据存储的文件目录，如下： 目录/home/hadoop-twq/bigdata/dfs/data就是DataNode存放数据的地方，这个目录对应的存储介质就是普通的磁盘(DISK)。除了普通磁盘，存储介质其实还有固态 ...
分类：
其他好文 时间：
2019-09-08 19:50:27
阅读次数：
78
hadoop是一种主从架构模型 主（NameNode节点）：保存文件元数据（描述文件的数据），单节点。 从（DataNode节点）：保存文件Block数据，多节点。 DataNode和NameNode保持心跳，提交Block列表。 HdfsClient和NameNode交互元数据信息找到Block位 ...
分类：
其他好文 时间：
2019-09-03 00:11:00
阅读次数：
128
