单节点NameNode存在问题： NameNode宕机，metadata数据消失； 单节点出现故障，如何进行故障转移？ 如果增加一个NameNode节点，会出现脑裂问题（一个集群有多个管理者），如何解决？ ZK搭建高可用（HA High Aliavble）HDFS集群 原理 QJM（Quorum J ...
分类：
其他好文 时间：
2020-04-17 20:34:00
阅读次数：
99
HDFS：Hadoop Distributes File System HDFS 1.0 Namenode namenode又称名称节点，是负责管理分布式文件系统的命名空间（Namespace）,保存了两个核心的数据结构，即Fslmage和Editlog.你可以把它理解为大管家，它不负责存储具体的数 ...
分类：
其他好文 时间：
2020-04-13 00:21:47
阅读次数：
241
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
代码流程： NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // 启动HttpServer |——loa ...
分类：
其他好文 时间：
2020-04-02 22:56:20
阅读次数：
127
首先Namenode启动的总体流程大概是这样的： NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // ...
分类：
Web程序 时间：
2020-04-01 00:59:39
阅读次数：
80
阅读源码第一步是要编译源码； 源码版本：hadoop2.6+ ~ hadoop2.7 这个范围均可，改动不是特别大 编译源码教程连接：https://www.jianshu.com/p/a66ab0235fb9 https://www.cnblogs.com/hequn/articles/48396 ...
分类：
其他好文 时间：
2020-04-01 00:43:48
阅读次数：
185
HDFS写数据的流程 HDFS shell上传文件a.txt，300M 对文件分块，默认每块128M。 shell向NameNode发送上传文件请求 NameNode检测文件系统目录树，看能否上传 NameNode向shell发送允许上传通知 shell向NameNode发送上传block1，备份为 ...
分类：
其他好文 时间：
2020-03-29 01:09:38
阅读次数：
66
（1）Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 1）HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 2）MapRedu ...
分类：
其他好文 时间：
2020-03-28 17:42:52
阅读次数：
69
1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个datanode存储2T的数据... ...
分类：
其他好文 时间：
2020-03-27 23:28:42
阅读次数：
150
