[toc] 理论概述 一、各种集群简述 mongodb有三种集群搭建方式： 1. 分片 ：sharding。指为处理大量数据，将数据分开存储，不同服务器保存不同的数据，它们的数据总和即为整个数据集。追求的是高性能。 2. 复制集 ：Master Slave 模式（主从复制）。 3. 副本集 ：副本集 ...
分类：
数据库 时间：
2019-06-22 01:30:43
阅读次数：
168
一、ZAB协议(原子消息广播协议) ZAB(Zookeeper Atomic Broadcast)协议是Zookeeper用来保证其数据一致性的核心算法，是一种支持崩溃恢复的原子广播协议。基于此协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各副本之间数据的一 ...
分类：
其他好文 时间：
2019-06-21 22:16:13
阅读次数：
122
一、主从切换 1、确定主节点master-node的redis失效 2、将从节点slave-node1的redis设置成主redis redis-cli -h 127.0.0.1 -p 6379 slaveof NO ONE #只是临时将该节点设置为主节点；当redis重启后，就会失效；可以登录re ...
分类：
其他好文 时间：
2019-06-21 18:42:59
阅读次数：
129
ps：具体Kafka Flumn SparkStreaming的使用 参考前几篇博客 (1) 在slave机器上配置broker 1) 点击CDH上的kafka进入kafka功能界面，切换到实例页签，点击下方的“添加角色实例”进入添加角色实例界面。 2) 进入添加角色界面，点击Kafka Broke ...
分类：
编程语言 时间：
2019-06-21 13:09:52
阅读次数：
160
错误描述 生产环境遇到的问题，前一天在主库上建立了111111数据库，然后立马就删除了，导致从库并没有同步完成，然后再去执行binlog中删除的操作时，找不到111111数据库，所以导致同步中断。 在从库上查看同步状态，如下 MySQL [(none)] show slave ...
分类：
数据库 时间：
2019-06-21 10:59:52
阅读次数：
160
1.画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等2.为什么会产生小文件3.为什么Hadoop不怕数据量大，却怕文件小4.你能告诉我路径占不占元数据内存，如果占，占多少5.小文件会产生什么样的问题，产生的问题会对你们的集群产生什么样的影响6.画出Yarn工程流程7.mr和sp ...
分类：
其他好文 时间：
2019-06-21 09:29:38
阅读次数：
185
MGR群集搭建环境IP地址主机名数据库端口号Server_ID操作系统192.168.144.10apenglinux-001.cnMySQL5.7.263306100CentOS7.5192.168.144.20apenglinux-002.cnMySQL5.7.263306101CentOS7.5192.168.144.30apenglinux-003.cnMySQL5.7.263306102
分类：
其他好文 时间：
2019-06-20 14:12:41
阅读次数：
104
（1）Master-Slave架构 这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，所以这里不能直接说明。 但是他的核心思想，就是把数据分发到很多台机器上来处理，然后需要有一台机器来控制N多台机器的分布式处理 那么既然是分布式的处理，就肯定涉及到在Maste ...
分类：
其他好文 时间：
2019-06-19 21:49:40
阅读次数：
95
一：为什么要进行主备切换？ - 比如软件升级、主库所在机器按计划下线等。主动运维。 - 比如主库所在机器掉电,为了保证服务的正常运行，而进行切换。可能是被动操作。 - 流程图 - 二：什么是同步延迟？ - 在介绍主动切换流程的详细步骤之前，先跟你说明一个概念，既“同步延迟” - 与数据同步有关的时间 ...
分类：
数据库 时间：
2019-06-18 20:17:33
阅读次数：
193
Wrep_slave_threads参数配置成cpu的个数或者1.5倍。 任何命令执行出现unknown command，表示出现脑裂，集群中任意两个节点间通信的4567端口不通，并且无法对外提供服务。SET GLOBAL wsrep_provider_options="pc.ignore_sb=t ...
分类：
其他好文 时间：
2019-06-17 23:07:21
阅读次数：
379
