概念 模型 节点： 在具体的工程项目中，一个节点往往是一个操作系统上的进程。在本文的模型中，认为节点是一个完整的、不可分的整体，如果某个程序进程实际上由若干相对独立部分构成，则在模型中可以将一个进程划分为多个节点。 异常 机器宕机：机器宕机是最常见的异常之一。在大型集群中每日宕机发生的概率为千分之一 ...
分类：
其他好文 时间：
2020-04-22 09:53:17
阅读次数：
48
【科普】常见数据库高可用方案汇总 一. 大纲 二. MySQL篇 2.1. 主从复制 2.2. MySQL MHA 2.3. MySQL MGR 2.4. MySQL NDB Cluster 2.5. MySQL Galera Cluster 2.6. MySQL InnoDB Cluster 2. ...
分类：
数据库 时间：
2020-04-21 09:38:27
阅读次数：
598
[TOC] 缓存预热 宕机 服务器启动后迅速宕机 问题排查 1. 请求数量较高 2. 主从之间数据吞吐量较大，数据同步操作频度较高 解决方案 前置准备工作： 1. 日常例行统计数据访问记录，统计访问频度较高的热点数据 2. 利用 LRU 数据删除策略，构建数据留存队列，例如：strom 与 kafk ...
分类：
其他好文 时间：
2020-04-21 09:29:45
阅读次数：
84
单节点NameNode存在问题： NameNode宕机，metadata数据消失； 单节点出现故障，如何进行故障转移？ 如果增加一个NameNode节点，会出现脑裂问题（一个集群有多个管理者），如何解决？ ZK搭建高可用（HA High Aliavble）HDFS集群 原理 QJM（Quorum J ...
分类：
其他好文 时间：
2020-04-17 20:34:00
阅读次数：
99
晚上刚刚被媳妇骂，难过之余，还是要坚持继续写一篇kafka源码走读的博客，心情难过，原谅我开头发下牢骚。。。 源码版本依然是0.10.2.1，我们都知道，kafka在0.8版本前没有提供Partition的Replication机制，一旦Broker宕机，其上的所有Partition就都无法提供服务 ...
分类：
其他好文 时间：
2020-04-15 18:35:16
阅读次数：
81
分布式系统理论 - 从放弃到入门随承载用户数量的增加和容灾的需要，越来越多互联网后台系统从单机模式切换到分布式集群。回顾自己毕业五年来的工作内容，同样有这样的转变。 毕业头两年负责维护运行在刀片机上的业务，在机房里拔插单板的日子是我逝去的青春。设备之间通过VCS组成冷备，但即使有双机软件保护，宕机、 ...
分类：
其他好文 时间：
2020-04-15 09:20:46
阅读次数：
216
redis-sentinel主从复制高可用 主从复制架构 redis主从复制背景问题 Redis主从复制可将主节点数据同步给从节点，从节点此时有两个作用： 一旦主节点宕机，从节点作为主节点的备份可以随时顶上来。 扩展主节点的读能力，分担主节点读压力。 但是问题是： 一旦主节点宕机，从节点上位，那么需 ...
分类：
其他好文 时间：
2020-04-12 21:00:40
阅读次数：
105
Zookeeper 本身也是集群，推荐配置不少于 3 个服务器。Zookeeper 自身也要保 证当一个节点宕机时，其他节点会继续提供服务。 如果是一个 Follower 宕机，还有 2 台服务器提供访问，因为 Zookeeper 上的数 据是有多个副本的，数据并不会丢失； 如果是一个 Leader ...
分类：
其他好文 时间：
2020-04-12 20:29:47
阅读次数：
79
集群架构：就是使用网络将若干台计算机连通起来，并提供统一的管理方式，使其对外呈现单机的服务效果 集群作用：分散单台服务器的访问压力，实现负载均衡；分散单台服务器的存储压力，实现可扩展性；降低单台服务器宕机带来的业务灾难 Redis集群结构设计：key-->CRC16-->%16384 数据存储设计： ...
分类：
其他好文 时间：
2020-04-12 10:37:56
阅读次数：
65
高可用指的是系统无中断的执行功能的能力 一个系统不可能一直无中断的执行下去，干扰因素有三个方面 硬件因素，机器宕机 软件故障，软件BUG 不可抗因素，地震、火灾、断电等 解决高可用问题的方案 本质上通过数据冗余备份和失效转移解决高可用问题，一台机器变成多台机器，单机变成集群架构 从高可用种类角度解决 ...
分类：
其他好文 时间：
2020-04-10 18:27:21
阅读次数：
108
