+ HDFS 写文件 + 网络拓扑 节点距离计算 + HDFS读流程 + NN和2NN工作机制 + Fsimage和Edits解析 + CheckPoint时间设置 + NameNode故障后的数据恢复 HDFS 数据流 HDFS 写文件 1）客户端通过Distributed FileSystem模 ...
分类：
其他好文 时间：
2020-01-08 18:45:59
阅读次数：
95
写流程： 正常： 1.HDFS客户端调用分布式文件系统的create方法远程过程调用namenode的create方法 namenode内完成几项判断 返回客户端 2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock 返回列表 然后开始写 3. ...
分类：
其他好文 时间：
2020-01-06 14:42:27
阅读次数：
67
namenode元数据管理 namenode主要功能模块 Fsimage是一个二进制文件，其大致结构如下图： 1. 首先是一个image head，其中包含： a) imgVersion(int)：当前image的版本信息 b) namespaceID(int)：命名空间ID，唯一的 c) numF ...
分类：
其他好文 时间：
2020-01-01 14:55:43
阅读次数：
72
HDFS分布式文件系统概述 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名： hdp01 对应的ip地址：192.168.11.25 主机名： hdp02 对应的 ...
分类：
其他好文 时间：
2020-01-01 09:29:00
阅读次数：
85
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
一、为什么namenode持久化 namenode通过内存存储hdfs集群的元数据（目录结构 文件信息 块对应关系），如果内存出现问题，那么会数据丢失，需要通过持久化，把内存中的数据定期的存储在硬盘中，进而保证namenode的数据安全。 二、持久化的原理 1、FSImage (某一时刻 namen ...
分类：
其他好文 时间：
2019-12-29 18:48:03
阅读次数：
133
启动和关闭Hadoop集群命令步骤总结： 1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -repor ...
分类：
其他好文 时间：
2019-12-28 22:47:34
阅读次数：
878
Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为NameNode可以免密登录 由于是双master，所以需要在master与master_ ...
分类：
其他好文 时间：
2019-12-28 22:43:47
阅读次数：
88
hdfs的设计前提和目标： 1.认为硬件错误是常态而不是异常 2.流式数据访问，注重批处理和高吞吐量，而不是低延迟 3.大规模数据集 4.一次写入多次读取的文件访问模式 5.移动计算比移动数据更加划算 6.异构软硬件平台间的可移植性 namenode： 作用 1.存储文件和目录的元数据（元数据放在内 ...
分类：
其他好文 时间：
2019-12-27 21:40:48
阅读次数：
93
hadoop存在的两个问题： 1.内存受限的问题 联邦解决内存受限问题。 建立多个NameNode，每个NameNode记录元数据的一部分，但是对于元数据整体来说本质上还是只有一份。 2.单点故障 HA（high available）高可用，解决hdfs的单点故障问题。 主备namenode，存储相 ...
分类：
其他好文 时间：
2019-12-26 21:28:33
阅读次数：
115
