单节点NameNode存在问题： NameNode宕机，metadata数据消失； 单节点出现故障，如何进行故障转移？ 如果增加一个NameNode节点，会出现脑裂问题（一个集群有多个管理者），如何解决？ ZK搭建高可用（HA High Aliavble）HDFS集群 原理 QJM（Quorum J ...
分类：
其他好文 时间：
2020-04-17 20:34:00
阅读次数：
99
一、ReadPreference读偏好 在副本集Replica Set中才涉及到ReadPreference的设置，默认情况下，读写都是分发都Primary节点执行，但是对于写少读多的情况，我们希望进行读写分离来分摊压力，所以希望使用Secondary节点来进行读取，Primary只承担写的责任（实 ...
分类：
数据库 时间：
2020-04-14 12:13:51
阅读次数：
106
HDFS：Hadoop Distributes File System HDFS 1.0 Namenode namenode又称名称节点，是负责管理分布式文件系统的命名空间（Namespace）,保存了两个核心的数据结构，即Fslmage和Editlog.你可以把它理解为大管家，它不负责存储具体的数 ...
分类：
其他好文 时间：
2020-04-13 00:21:47
阅读次数：
241
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
索引类型 索引类型分为主键索引和非主键索引。(一定要牢记，是怎么存储数据的) 主键索引的叶子节点存的是整行数据。在 InnoDB 里，主键索引也被称为聚簇索引（clustered index）。 非主键索引的叶子节点内容是主键的值。在 InnoDB 里，非主键索引也被称为二级索引（secondary ...
分类：
数据库 时间：
2020-04-04 22:23:03
阅读次数：
171
学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
代码流程： NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // 启动HttpServer |——loa ...
分类：
其他好文 时间：
2020-04-02 22:56:20
阅读次数：
127
首先Namenode启动的总体流程大概是这样的： NameNode.main() // 入口函数 |——createNameNode(); // 通过new NameNode()进行实例化 |——initialize(); // 方法进行初始化操作 |——startHttpServer(); // ...
分类：
Web程序 时间：
2020-04-01 00:59:39
阅读次数：
80
阅读源码第一步是要编译源码； 源码版本：hadoop2.6+ ~ hadoop2.7 这个范围均可，改动不是特别大 编译源码教程连接：https://www.jianshu.com/p/a66ab0235fb9 https://www.cnblogs.com/hequn/articles/48396 ...
分类：
其他好文 时间：
2020-04-01 00:43:48
阅读次数：
185
