1、什么是Spark Spark是一种统一、快速、通用、可扩展的分布式大数据分析引擎。分布式体现在Spark一般情况是以集群模式存在，架构为Master/Slaver(主从结构)。大数据分析引擎体现在Spark能够分析数据，但是没有存储。一般线上的spark数据来源 （HDFS, Hive、Kafk ...
分类：
其他好文 时间：
2020-02-29 20:51:19
阅读次数：
74
rabbitMQ有三种模式：单机模式，普通集群模式，镜像集群模式 RabbitMQ的高可用性 RabbitMQ是比较有代表性的，因为是基于主从做高可用性的，我们就以他为例子讲解第一种MQ的高可用性怎么实现。 rabbitmq有三种模式：单机模式，普通集群模式，镜像集群模式 1）单机模式 就是demo ...
分类：
其他好文 时间：
2020-02-27 16:07:12
阅读次数：
89
1.redis cluster集群是什么？ redis cluster集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis cluster集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。 需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水 ...
分类：
其他好文 时间：
2020-02-24 14:50:58
阅读次数：
67
Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the ...
分类：
其他好文 时间：
2020-02-22 14:09:44
阅读次数：
86
上篇文章为大家总结了redis命令并讲述了持久化，今天我们来看一下redis的三种集群模式：主从复制，哨兵集群，Cluster集群 本篇文章先介绍redis-cluster，然后再依次介绍它的哨兵集群与主从复制 一、Cluster集群模式概念 redis集群是一个分布式与容错的redis实现、在集群 ...
分类：
其他好文 时间：
2020-02-21 12:37:49
阅读次数：
124
1、常见的三种数据的集群存储模式 1. full mirror：全量镜像模式，单纯备份模式，各个节点数据相同，都包含了全量数据，仅主节点可写，保证了数据冗余和读的负载均衡。数据安全性高，横向扩展能力差，资源利用率不高。 2. pure sharding：数据分片，每个节点的数据不相同，所有节点中数据 ...
分类：
其他好文 时间：
2020-02-20 19:54:08
阅读次数：
67
RocketMQ4.X 多种集群模式 单节点 ： 优点：本地开发测试，配置简单，同步刷盘消息一条都不会丢 缺点：不可靠，如果宕机，会导致服务不可用 主从(异步、同步双写) ： 优点：同步双写消息不丢失， 异步复制存在少量丢失 ，主节点宕机，从节点可以对外提供消息的消费，但是不支持写入 缺点：主备有短 ...
分类：
其他好文 时间：
2020-02-19 01:01:25
阅读次数：
84
MQ，Message Queue 消息队列。 ActiveMQ Apache开源的消息中间件，老牌消息中间件。 性能一般，一般场景够用了，但高并发时往往应付不了，在中小企业中使用广泛。 有2种集群模式： 一种是主从模式，另一种是分布式的主从模式。 slave 从属、奴隶 Kafka 最初由Linke ...
分类：
其他好文 时间：
2020-02-18 13:28:29
阅读次数：
92
哨兵模式 哨兵模式是redis高可用的实现方式之一 使用一个或者多个哨兵(Sentinel)实例组成的系统，对redis节点进行监控，在主节点出现故障的情况下，能将从节点中的一个升级为主节点，进行故障转义，保证系统的可用性。 redis哨兵模式.png 哨兵们是怎么感知整个系统中的所有节点(主节点/ ...
分类：
其他好文 时间：
2020-02-14 18:47:47
阅读次数：
84
一、概述 RabbiMQ是用Erang开发的，集群非常方便，因为Erlang天生就是一门分布式语言，但其本身并不支持负载均衡。 RabbiMQ模式 RabbitMQ模式大概分为以下三种:(1)单一模式。(2)普通模式(默认的集群模式)。(3) 镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于 ...
分类：
其他好文 时间：
2020-02-13 18:48:41
阅读次数：
85
