dfs目录位置由core-site.xml文件中 hadoop.tmp.dir 属性决定 ：hadoop.tmp.dir属性对应值/dfs 1.dfs目录是在NameNode被格式化的时候产生的 格式化：首先在停止hadoop之后，删除 hadoop.tmp.dir 属性对应值目录下的所有文件后，执 ...
分类：
其他好文 时间：
2020-06-22 12:36:38
阅读次数：
145
NameNode 存储文件元数据（文件名，目录结构，文件属性，文件块列表，块所在DataNode） DataNode 文件块数据+数据校验和 Secondary NameNode 监控HDFS状态的后台程序 ...
分类：
其他好文 时间：
2020-06-21 23:27:51
阅读次数：
48
1，在hdfs-site.xml 中配置多目录，提前配置好，以免以后要配置时，需要重启集群。 2，namenode 有一个工作线程池，用来处理不同的datanode的并发心跳和客户端访问并发请求。配置dfs.namenode.handler.count=20 * log2(Cluster Size) ...
分类：
其他好文 时间：
2020-06-16 13:33:15
阅读次数：
64
https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L2.pdf https://drive.google.com/drive/folders/13_vsxSIEU9TDg1TCjYEwOidh0x3dU6es 第二节课花了40分钟讲，如果dataNode ...
分类：
其他好文 时间：
2020-06-15 18:02:14
阅读次数：
50
1，客户端通过Distributed FileSystem 向namenode请求下载文件，namenode 通过查找元数据，返回文件块所在datanode的地址。 2，客户端挑选一台datanode（按照就近原则，返回的块地址根据网络拓扑图排序，距离客户端进的排在前面）服务器，建立连接，请求读取数 ...
分类：
其他好文 时间：
2020-06-14 16:34:06
阅读次数：
59
Hadoop 简介： 两大核心：HDFS+MapReduce Hadoop1.0，Hadoop2.0 Linux：基础 shell，sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式：就是吧名称 ...
分类：
其他好文 时间：
2020-05-29 17:44:12
阅读次数：
71
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默 ...
分类：
其他好文 时间：
2020-05-28 18:13:32
阅读次数：
84
DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的. AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括contain... ...
分类：
其他好文 时间：
2020-05-24 11:29:17
阅读次数：
50
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
原因： 1.防火墙没关闭（对应端口没有打开） 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案： 1.关闭防火墙 2.jps查看进程，出现下面几个进程则启动成功。 hdfs三个进程中，datanode和namenode只有一个启动成功，可能是namenode ...
分类：
编程语言 时间：
2020-05-15 13:11:20
阅读次数：
271
