HDFS作为分布式文件管理系统，Hadoop的基础。HDFS体系机构包括：NameNode、DataNode、SecondaryNameNode。Hadoop shell上传的文件是存放在DataNode的block中，通过linux shell只能看到block，不能看到文件。 以下是本章的重点： ...
分类：
其他好文 时间：
2019-08-15 19:18:30
阅读次数：
119
1 HDFS写数据流程 1.1 剖析文件写入 HDFS写数据流程，如图所示 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block ...
分类：
其他好文 时间：
2019-08-15 06:04:26
阅读次数：
126
NameNode和SecondaryNameNode（面试开发重点） 1 NN和2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如 ...
分类：
其他好文 时间：
2019-08-15 05:51:48
阅读次数：
78
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的 （用以存放文件目录树，权限设置，副本数设置等 ...
分类：
其他好文 时间：
2019-08-13 17:25:04
阅读次数：
89
hadoop(一HDFS) 介绍 狭义上来说: hadoop指的是以下的三大系统: HDFS ：分布式文件系统(高吞吐,没有延时要求,容错性,扩展能力)MapReduce : 分布式计算系统Yarn：分布式样集群资源管理 但是hadoop可不止这三个系统 广义上来说: hadoop指的是大数据的一个 ...
分类：
其他好文 时间：
2019-08-13 00:44:13
阅读次数：
88
hadoop小文件存档1.HDFS存档小文件弊端 每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需的磁盘容量和数据块的大小无关。例如，一个1M的文件设置为128M的块存储， ...
分类：
其他好文 时间：
2019-08-09 01:44:07
阅读次数：
110
本文是对MongoDB副本集常用操作的一个汇总，同时也穿插着介绍了操作背后的原理及注意点。 结合之前的文章：MongoDB副本集的搭建，大家可以在较短的时间内熟悉MongoDB的搭建和管理。 下面的操作主要分为两个部分： 1. 修改节点状态 主要包括： 1> 将Primary节点降级为Seconda ...
分类：
数据库 时间：
2019-08-08 13:13:05
阅读次数：
112
hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
https://www.jianshu.com/p/5dbb9011d2ee 我使用的Mac电脑.刚开始的时候一直不知道为什么会卡死. 我格式化了几次 namenode 也没有解决我的问题,从上面那个链接中得到启发.修改yarn的健康检查 成功解决问题 ...
分类：
其他好文 时间：
2019-07-26 14:44:53
阅读次数：
121
1.Secondary NameNode目录结构 Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。 在/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/current这个目录中查看Se ...
分类：
其他好文 时间：
2019-07-24 13:36:06
阅读次数：
96
