这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，之后于2 ...
分类：
编程语言 时间：
2020-07-15 23:49:56
阅读次数：
93
Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
1.flume连接mysql驱动包准备 进入链接下载源码https://github.com/keedio/flume-ng-sql-source现在最新是1.5.3解压， 进入到目录中编译 直接编译可能报错，跳过test mvn package -DskipTests 2.flume与kafka, ...
分类：
数据库 时间：
2020-07-15 23:28:07
阅读次数：
166
我们知道Logstash的架构如下： 它的整个pipleline分为三个部分： input插件：提取数据。 这可以来自日志文件，TCP或UDP侦听器，若干协议特定插件（如syslog或IRC）之一，甚至是排队系统（如Redis，AQMP或Kafka）。 此阶段使用围绕事件来源的元数据标记传入事件。 ...
分类：
其他好文 时间：
2020-07-15 23:00:31
阅读次数：
84
前言 本篇只介绍跟 高可用 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal-adapter】 Canal se ...
分类：
其他好文 时间：
2020-07-15 15:19:27
阅读次数：
60
前言 本篇只介绍跟 Kafka模式 相关的配置。 TCP模式 请参考文章：【Canal——增量同步MySQL数据到ElasticSearch】 高可用 请参考文章：【Canal——高可用架构设计与应用】 一、架构 二、canal-server 配置 修改canal 配置文件： vi /usr/loc ...
分类：
其他好文 时间：
2020-07-15 15:19:01
阅读次数：
133
课程内容： 1. 简单的操作一下集群 2. 简单的介绍几个工具（企业） 3. Producer的原理（核心，重点） 4. 简单kafka的代码 5. 介绍里面的核心参数（重点） 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数，建议是节点的倍数 Pro ...
分类：
其他好文 时间：
2020-07-15 01:03:51
阅读次数：
81
1.下载kafka ，登陆kafka官网（http://kafka.apache.org/downloads），这里我们直接下载最新版本 2.我这里通过SSH Secure Shell把下载好的kafka压缩包上传到linux服务器的/usr/local路径下，然后解压文件，命令如下 cd /usr ...
分类：
其他好文 时间：
2020-07-14 18:00:26
阅读次数：
144
内容： 1. kafka的核心概念 Topic：主题 Partition：分区 分区具体在服务器上面表现为其实就是一个目录 一个主题下面，有多个分区，这些分区会存储到不同的kafka的服务器上面 或者我们可以这样说：其实就是在不同的主机上面建了不同目录 Producer：生产者 Consumer：消 ...
分类：
其他好文 时间：
2020-07-13 23:09:51
阅读次数：
98
一，kafka是什么 kafka是一个分布式的发布-订阅消息系统，能够支持海量的数据传递，在高效和实时的消息处理业务系统中，kafka都有广泛应用，kafka将消息持久化到磁盘中，并且创建了备份保存了数据的安全，kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。 二，特 ...
分类：
其他好文 时间：
2020-07-13 11:53:56
阅读次数：
60
