本文从高可用的角度观察一下 RabbitMQ、Kafka、RocketMQ,看看它们各自的实现思路。 1. RabbitMQ RabbitMQ 有 3 种部署模式: 单机模式 普通集群模式 镜像集群模式 单机模式与高可用完全没关系,咱就不说了,直接看看这2种集群模式。 1.1 普通集群模式 某一个 ...
分类:
其他好文 时间:
2021-05-24 04:17:36
阅读次数:
0
前言 Elastic自身设计了集群分片的负载平衡机制,当有新数据节点加入集群或者离开集群,集群会自动平衡分片的负载分布。 需求背景 公司原有大数据平台基于公有云构建,由于种种原因,现在需要迁移到自建机房,Elasticsearch集群承担了大数据平台主要的对外查询需求,也有部分实时计算需求基于Ela ...
分类:
其他好文 时间:
2021-05-24 03:46:38
阅读次数:
0
优化Refresh时间 ES在写入数据的时候,采用延迟写入的策略,数据会先写到内存中,当超过默认时间1秒 (index.refresh_interval,默认)会进行一次写入磁盘操作。如果对实时搜索要求不高的情况下,可以适当地将此值设置的高点,可以有效地减少 segment (一个segment是一 ...
分类:
其他好文 时间:
2021-05-24 03:34:59
阅读次数:
0
大家好,这是一个为了梦想而保持学习的博客。这个专题会记录我对于KAFKA的学习和实战经验,希望对大家有所帮助,目录形式依旧为问答的方式,相当于是模拟面试。 一、写在前面 本来是打算写到消费者模块的时候再详细看一下和写一下rebalance过程,但是前阵子遇到的rebalance的问题比较多,发现自己 ...
分类:
其他好文 时间:
2021-05-24 00:09:26
阅读次数:
0
一、kafka Kafka是一个分布式的消息系统。 二、解决问题 消息系统通常被应用于异步处理、应用解耦、流量削峰、消息通信等场景。 异步处理 image-20210315230129937 生产者将消息写入消息队列中,消费者异步拉取消息队列消息,从而提升消息处理能力。 应用解耦 image-202 ...
分类:
其他好文 时间:
2021-05-23 23:45:42
阅读次数:
0
我们的教程名字是叫做:千锋最新ElasticSearch6实战教程 我们的教程地址是:https://www.bilibili.com/video/av26630099。 视频1 - ElasticSearch概述 elasticsearch和solr一样,都是基于lucene的。 elastics ...
分类:
其他好文 时间:
2021-05-23 23:43:54
阅读次数:
0
Mysql配置读写数据库 ERROR 1227 (42000): Access denied; you need (at least one of) the SUPER privilege(s) for this operation 原因之前mysql的vi /etc/my.cnf 修改配置没有重启 ...
分类:
其他好文 时间:
2021-04-30 12:42:22
阅读次数:
0
build.gradle添加implementation libs.slf4jApi ...
分类:
其他好文 时间:
2021-04-30 12:19:59
阅读次数:
0
1、连接demo是采用的这篇博客中的内容: https://blog.csdn.net/weixin_39098944/article/details/108067005 主要代码如下: (1)添加依赖 1 <dependency> 2 <groupId>org.apache.kafka</grou ...
分类:
编程语言 时间:
2021-04-30 12:13:39
阅读次数:
0