双十二的时候我们的一个重要业务崩盘了。原因其实很简单,就一句话,流程太大导致某个中间件接入层的HA proxy满载,中间件不可用,整个业务基本瘫痪。从测试的角度去总结一下,大概以后可以有如下的改进。技术方案评审时就考虑高并发问题我们这次的事故是因为比较乐观,可能技术方案评审的时候就开始盲目乐观了。其... ...
分类:
其他好文 时间:
2018-12-14 17:32:04
阅读次数:
139
Hadoop与Google一样,都是小孩命名的,是一个虚构的名字,没有特别的含义。从计算机专业的角度看,Hadoop是一个分布式系统基础架构,由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。设想一个场景,假如您需要grep一个100TB的大数据文件,按照传统的方式,会花费很长时间,而这正是Hadoop所需要考虑的效率问题。 关于Ha
分类:
其他好文 时间:
2018-12-14 14:54:34
阅读次数:
161
若HDFS集群中只配置了一个NameNode,那么当该NameNode所在的节点宕机,则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager,那么当该ResourceManager所在的节点宕机,则整个YARN就不能进行任务的计算。*Hadoop依赖Zookeeper进行各个模块的HA配置,其中状态为Active的节点对外提供服务,而状态为StandB
分类:
其他好文 时间:
2018-12-13 16:30:24
阅读次数:
221
1.关闭防火墙 1.1 查看防火墙状态 service iptables status 1.2 关闭防火墙 service iptables off 1.3 关闭防火墙开机启动 chkconfig iptables off 2.关闭selinux vi /etc/selinux/config 将 S ...
分类:
其他好文 时间:
2018-12-12 00:20:48
阅读次数:
174
1、Eureka服务端集群配置文件 打包mima-cloud-eureka-ha.jar可执行文件,点击此处。 2、Eureka客户端集群配置文件 ...
分类:
其他好文 时间:
2018-12-09 21:28:51
阅读次数:
293
Doing Homework Ignatius has just come back school from the 30th ACM/ICPC. Now he has a lot of homework to do. Every teacher gives him a deadline of ha ...
分类:
其他好文 时间:
2018-12-08 17:05:45
阅读次数:
124
结果: has running 100 s has running 200 s has running 300 s has running 400 s has running 500 s has running 600 s has running 700 s has running 800 s ha ...
分类:
编程语言 时间:
2018-12-07 21:21:30
阅读次数:
241
简介 Redis3.0版本之前,可以通过Redis Sentinel(哨兵)来实现高可用(HA),从3.0版本之后,官方推出了Redis Cluster,它的主要用途是实现数据分片(Data Sharding),不过同样可以实现HA,是官方当前推荐的方案。在Redis Sentinel模式中,每个节 ...
分类:
其他好文 时间:
2018-12-07 18:29:29
阅读次数:
207
使用pt-heartbeat帮助测试MySQL从库delay时长- 第一次运行测试成功,运行顺畅。 过几天再次用--update测试时,发现pt-heartbeat只update一次就自己退出了,--daemonize参数似乎不起作用。 而且程序退出的exitcode还是0. 排查半天未发现问题。 ...
分类:
其他好文 时间:
2018-12-07 00:32:46
阅读次数:
219
目录 前言 一、 搭建环境 1.1集群规划 二、 集群的相关配置 2.1 新建用户hadoop 2.2 更改主机名 2.3 主机和IP做相关映射 2.4 SSH免密码登录 2.5 时间配置 2.6 整体安装目录安排 三、 Hadoop HA环境搭建 3.1 JDK配置 3.2 安装配置Zookeep ...
分类:
其他好文 时间:
2018-12-05 18:33:41
阅读次数:
234