安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
引言 准备搭建的是主从架构（ Master/Slave ）中的一主两从模式；其中 Master 为 Redis 的主服务器，主要负责写操作，两个 Slave 为 Redis 的从服务器，主要负责读操作，该架构最终可以实现主从复制和读写分离，架构图如下： 搭建步骤 这里采用在一台虚拟机上启动多个 Re ...
分类：
其他好文 时间：
2021-03-17 14:17:52
阅读次数：
0
前言 上文我们聊了基于Sentinel的Redis高可用架构，了解了Redis基于读写分离的主从架构，同时也知道当Redis的master发生故障之后，Sentinel集群是如何执行failover的，以及其执行failover的原理是什么。 这里大概再提一下，Sentinel集群会对Redis的主 ...
分类：
其他好文 时间：
2020-12-24 11:47:28
阅读次数：
0
问个问题吧！为什么你需要了解binlog的落盘机制呢？ 我来回答一下： ? 上一篇文章提到了生产环境中你可以使用binlog做数据的恢复、审计、以及搭建主从架构的MySQL集群。那你使用这些特性优势的时候有没有问自己一下，你使用的binlog是安全的吗？会不会少记录了一部分数据呢？因为使用一个有问题 ...
分类：
数据库 时间：
2020-12-18 12:36:00
阅读次数：
2
背景： 工作上需要删除或则归档一张大表，这时候用pt-archiver可以很好的满足要求，其不仅可以归档数据，还有删除、导出到文件等功能。并且在主从架构当中，可以兼顾从库（一个或则多个）进行归档，避免归档、删除数据时候压力太大，造成从库的延迟。该工具的目标是一个低影响，从表中剔除旧数据，而不会影响O ...
分类：
其他好文 时间：
2020-12-09 12:33:51
阅读次数：
13
前言：MySQL主从架构应该是最常用的一组架构了。从库会实时同步主库传输来的数据，一般从库可以作为备用节点或作查询使用。其实不只是主库需要多关注，从库有时候也要经常维护，本篇文章将会分享几点从库维护经验，一起来学习吧。1.主从复制建议采用GTID模式GTID即全局事务ID（GlobalTransactionID），GTID实际上是由server_uuid:transaction_id组成的。其中s
分类：
数据库 时间：
2020-11-23 12:48:24
阅读次数：
21
jenkins本身是不提供高可用架构的,就是有主从架构,master就是我们分发节点的功能,只启动分发请求的作用,正真的处理请求是slave进行请求的处理,如果想实现高可用模式,我们可能就需要用用一些其他的方案了,今天我们主要先来了解主从架构的的搭建模式1、主（master）节点安装jenkins2、从（slave）节点创建用户 ssh登录从节点创建jenkins用户，当前其它用户名也可user
分类：
其他好文 时间：
2020-08-20 18:35:08
阅读次数：
69
Redis的哨兵机制存在的意义就是当主从架构中，master发生宕机，无需人工干预，自动实现故障转移。官方文档Redis哨兵能干什么？Redis的Sentinel系统用于管理多个Redis示例，该系统执行以下三个任务：监控（Monitoring）：Sentinel会不断地检查你的master和slave是否运作正常。提醒（Notification）：当被监控的某个Redis服务器出现问题时，Sen
分类：
其他好文 时间：
2020-07-27 09:54:54
阅读次数：
72
典型的主从架构。其中 RegionServers 负责与客户端的交互，访问数据 HMaster 负责 Region 分配，DDL（create, delete tables) 操作。 1. Regions hbase table 根据 RowKey 划分成多个 Region，Region 包含所划分 ...
分类：
其他好文 时间：
2020-07-26 15:21:40
阅读次数：
62
