1.HDFS-HA架构原理介绍 hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA方案,它给出了一种较好的解决思路和方案,示意图如下: 1)基本原理就是用2N+1台 JN 存储EditLog,每次写数据操作有 ...
分类:
其他好文 时间:
2019-05-26 16:12:40
阅读次数:
128
离散化 离散化在处理只是注重一个数组中的数之间的大小关系时,是可以用离散化的操作来减小数的值得。 c++ bool cmp(ha a, ha b) { return a.num ...
分类:
其他好文 时间:
2019-05-26 12:56:23
阅读次数:
95
SynologyDS918+高可用服务器配置在两部机器上均安装HighAvailablityManager这个软件然后再其中一部打开接好Heartbeat端口硬盘配置需要RAID5才行,Synology推荐的SHR磁盘格式不支持HA可通过StorageManager修改为RAID5另外,如果两部SynologyNAS的型号不同,也无法做HA
分类:
其他好文 时间:
2019-05-23 16:47:21
阅读次数:
149
1、jar包问题,hadoop高版本中的htrace没有需要的类,需要从hadoop低版本里面复制一个jar包。 2、hdfs://mycluster/hbase mycluster必须在hosts文件中指定ip地址,否则无法找到 3、Operation category READ is not s ...
分类:
其他好文 时间:
2019-05-21 21:14:02
阅读次数:
204
1.HDFS简介 DataNode NameNode SecondaryNameNode HDFS文件权限 2.HDFS小结 3.HDFS交互操作 4.HDFS编程访问接口 ...
分类:
其他好文 时间:
2019-05-21 11:09:24
阅读次数:
77
文章由看书整理而得来,书目《Cisco IPSec ×××实战指南》,乾颐堂秦柯,感谢教主。文章最后我应该是遇到了bug,也许是我哪里配置有误,路过高手请帮忙看一下,感谢!
分类:
其他好文 时间:
2019-05-21 09:37:59
阅读次数:
116
应用环境: LVS负责多台WEB端的负载均衡(LB);Keepalived负责LVS的高可用(HA),这里介绍主备模型。 测试环境: DR配置步骤: 1. 安装软件(在DR1和DR2上分别安装) 2.修改配置文件/etc/keepalived/keepalived.conf 在dr2上只要修改 3. ...
分类:
其他好文 时间:
2019-05-15 09:44:13
阅读次数:
138
Ubuntu 下编译 Hadoop 2.9.2 系统环境 安装所需环境 编译过程中可能遇到的问题 注意 libssl dev安装换成 libssl1.0 dev版本。 我之前就是默认安转,在编译OpenSSL功能的时候一直卡主编译不通过。具体错误形式如下 开始编译 hadoop 大功告成编译后的ha ...
分类:
系统相关 时间:
2019-05-13 21:26:55
阅读次数:
162
一、zookeeper 宕机 二、dubbo 直连 三、集群下 dubbo 的负载均衡配置 在集群负载均衡时,Dubbo 提供了多种均衡策略,缺省为 random 随机调用。 3.1、Random LoadBalance 3.2、RoundRobin LoadBalance 3.3、LeastAct ...
分类:
其他好文 时间:
2019-05-12 20:07:11
阅读次数:
189
高可用集群 一、什么是高可用集群 高可用集群就是当某一个节点或服务器发生故障时,另一个节点能够自动且立即向外提供服务,即将有故障节点上的资源转移到另一个节点上去,这样另一个节点有了资源既可以向外提供服务。高可用集群是用于单个节点发生故障时,能够自动将资源、服务进行切换,这样可以保证服务一直在线。在这 ...
分类:
系统相关 时间:
2019-05-09 22:12:10
阅读次数:
178