1、脑裂问题 1、定义: 在一个高可用(HA)系统中,当关联着的两个结点互相之间断开通信时,本来为一个独立的对外提供服务的系统分裂为两个独立的结点,这时两个结点会争抢资源。(keepAlived 中表现为两个结点同时拥有VIP) keepalived 分为主备两台机器,但对外只提供一个VIP访问,只 ...
分类:
其他好文 时间:
2019-06-06 18:49:26
阅读次数:
238
http://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html Feature Phase 1: Non-work-preserving RM restart As of Ha ...
分类:
其他好文 时间:
2019-05-31 21:55:38
阅读次数:
145
一、什么是高可用 高可用HA(High Availability)是分布式系统架构设计中必须考虑的因素之一,它通常是指,通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务,我们说系统的可用性是100%。 如果系统每运行100个时间单位,会有1个时间单位无法提供服务,我们说系统的可用性是9 ...
分类:
其他好文 时间:
2019-05-30 14:40:00
阅读次数:
113
简介: 最近在看hadoop的一些知识,下面搭建一个ha (高可用)的hadoop完整分布式集群: 搭建步骤: 1> 关闭防火墙,禁止设置开机启动: (1) //临时关闭 systemctl stop firewalld (2) //禁止开机启动 systemctl disable firewall ...
分类:
其他好文 时间:
2019-05-29 10:40:37
阅读次数:
120
集群技术概述 LB LoadBalancer 负载均衡集群 硬件:F5 BIG-IP 软件:LVS(4层-传输层tcp/udp等端口协议进行负载调度),Nginx,Haproxy(4/7层-应用层,如识别http协议中的url等进行调度) LB集群主要解决高并发能力问题 HA HighAvailab ...
分类:
其他好文 时间:
2019-05-29 10:35:15
阅读次数:
125
配置SRX100b双机热备HA心得:厂商指定F0/0/7-控制接口,F0/0/6-设备管理接口1、配置Clusterid和Nodeidsetchassisclustercluster-id1node0rebootsetchassisclustercluster-id1node1reboot注:node越小,级别越高,为主设备。另外,需要先把接口删除,否则重启后不能进入configure模式。2、配
分类:
其他好文 时间:
2019-05-27 20:52:18
阅读次数:
143
1.HDFS-HA架构原理介绍 hadoop2.x之后,Clouera提出了QJM/Qurom Journal Manager,这是一个基于Paxos算法实现的HDFS HA方案,它给出了一种较好的解决思路和方案,示意图如下: 1)基本原理就是用2N+1台 JN 存储EditLog,每次写数据操作有 ...
分类:
其他好文 时间:
2019-05-26 16:12:40
阅读次数:
128
离散化 离散化在处理只是注重一个数组中的数之间的大小关系时,是可以用离散化的操作来减小数的值得。 c++ bool cmp(ha a, ha b) { return a.num ...
分类:
其他好文 时间:
2019-05-26 12:56:23
阅读次数:
95
SynologyDS918+高可用服务器配置在两部机器上均安装HighAvailablityManager这个软件然后再其中一部打开接好Heartbeat端口硬盘配置需要RAID5才行,Synology推荐的SHR磁盘格式不支持HA可通过StorageManager修改为RAID5另外,如果两部SynologyNAS的型号不同,也无法做HA
分类:
其他好文 时间:
2019-05-23 16:47:21
阅读次数:
149
1、jar包问题,hadoop高版本中的htrace没有需要的类,需要从hadoop低版本里面复制一个jar包。 2、hdfs://mycluster/hbase mycluster必须在hosts文件中指定ip地址,否则无法找到 3、Operation category READ is not s ...
分类:
其他好文 时间:
2019-05-21 21:14:02
阅读次数:
204