什么是RabbitMQ简介（优点）基于ErLang语言开发有高可用高并发的优点，适合集群。开源、稳定、易用、跨平台、支持多种语言、文档齐全。有消息确认机制和持久化机制，可靠性高。概念生产者和消费者Producer：消息的生产者Consumer：消息的消费者Queue消息队列提供了FIFO的处理机制，具有缓存消息的能力。在RabbitMQ中，队列消息可以设置为持久化，临时或者自动删除。如果是持久化的
分类：
其他好文 时间：
2020-07-19 11:25:40
阅读次数：
75
一、下载及安装配置 JDK (Kafka依赖于Zookeeper服务，而Zookeeper的运营依赖JDK) 1.地址：https://www.oracle.com/java/technologies/javase-jdk14-downloads.html 下载windows可执行文件，直接点击安装 ...
仅罗列了一些常用基础配置，更多配置请到官网查看 https://www.elastic.co/guide/en/logstash/current logstash.yml配置文件 # Node identity #节点名称，默认主机名 node.name: test # Data path #数据存 ...
分类：
其他好文 时间：
2020-07-18 22:04:24
阅读次数：
88
前提：需要提前下载JDK 1.下载地址：https://kafka.apache.org/ 2.需要先启动ZooKeeper服务器(可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。) 命令： bin\windows\zookeeper-server-star ...
当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 ...
分类：
其他好文 时间：
2020-07-18 00:48:57
阅读次数：
97
Kafka-可靠性保证-保证了哪些可靠性 ACID是关系型数据库普遍支持的标准可靠性保证。 ACID：原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability) 如果数据库遵循ACID规范，那么该数据库就支持与事务相关的行为。 kaf ...
分类：
其他好文 时间：
2020-07-16 00:19:13
阅读次数：
71
这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，之后于2 ...
分类：
编程语言 时间：
2020-07-15 23:49:56
阅读次数：
93
1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, ...
分类：
数据库 时间：
2020-07-15 23:28:07
阅读次数：
166
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类：
其他好文 时间：
2020-07-15 15:19:27
阅读次数：
60
