1. 基本原理 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 Quorum Journal Manager(QJM)，上 ...
分类：
其他好文 时间：
2019-12-12 12:57:17
阅读次数：
87
Squares and rectangles fascinated the famous Dutch painter Piet Mondriaan. One night, after producing the drawings in his 'toilet series' (where he ha ...
分类：
其他好文 时间：
2019-12-11 21:51:08
阅读次数：
113
哈希表结构 哈希表是由数组+链表组成的，首先有一个数组，数组的每一个位置都用来存储一个链表，链表的基本节点为：【hash值，key值，value值，next】，当存入一个键值对时，首先调用hashcode()方法获得key的hashcode，然后通过算法计算出hash值，当不同的key取到相同的ha ...
分类：
编程语言 时间：
2019-12-11 13:12:42
阅读次数：
70
1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa ...
分类：
其他好文 时间：
2019-12-10 17:12:56
阅读次数：
109
[toc] 集群规划 hdfs结构分析 1.NameNode 名称节点 master 管理其他节点。需要配置ssh免密管理 2.DateNode 数据节点 3.SecondaryNameNode 辅助名称节点 |主机名|ip|作用| | | | | |s101|192.168.255.101|Nam ...
分类：
其他好文 时间：
2019-12-09 21:13:14
阅读次数：
105
一、HA高可用集群搭建 版本采用的是 1.1、集群ip规划 1.2、免密登录配置 如上做免密登录，这里只做了neo4j node1 免密登录其他节点 这里做不做免密，都可以，我做免密主要是为了方便，不需要一直输入密码，在正式环境中还是不用免密的好 1.3、修改主机名配置 配置 配置 重启网卡 如上内 ...
分类：
其他好文 时间：
2019-12-09 19:05:32
阅读次数：
431
1 主要步骤 配置网络 修改主机名 关闭防火墙 关闭SELinux 安装jdk 增加hadoop用户 配置ssh信任 配置hadoop 集群部署规划 5台服务器， 一个主节点：nn1.hadoop， master （HA） 一个从节点：nn2.hadoop，slave 三个工作节点： s1.hado ...
分类：
系统相关 时间：
2019-12-09 01:34:10
阅读次数：
243
RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 一.RocketMQ专业术语 Producer（生产者） 消息生产者，位于用户的进程内，Producer通过NameServer获取 ...
分类：
其他好文 时间：
2019-12-07 23:06:19
阅读次数：
134
在2.0之前HDFS中只有一个NameNode，但对于在线的应用只有一个NameNode是不安全的，故在2.0中对NameNode进行抽象，抽象成NamService其下包含有多个NameNode，但只有一个运行在活跃状态，因此需要zookeeper进行选举和自动转换。一旦active当掉之后zoo ...
分类：
其他好文 时间：
2019-12-07 20:56:20
阅读次数：
159
1、Hdfs的HA高可用：保证Hdfs高可用，其实就是保证namenode的高可用，保证namenode的高可用的机制有两个，editlog共享机制+ZKFC。ZKFC就是ZookeeperFailOverController，即zookeeper故障转移控制器。 2、nameNode的高可用机制： ...
分类：
其他好文 时间：
2019-12-06 09:15:11
阅读次数：
93
