工作原因要用到flume来采集日志，简单接触后写下来一些，随更。详细请看官网http://flume.apache.org/releases/content/1.7.0/FlumeUserGuide.html#a-simple-example flume依赖Java环境，此版本至少要1.7以上的ja ...
分类：
Web程序 时间：
2020-03-24 16:06:45
阅读次数：
115
安装条件： 确保zookeeper已经安装成功。zookeeper安装过程见：上篇，或者https://www.cnblogs.com/expiator/p/9853378.html 1.下载kafka进入Apache官网 http://kafka.apache.org/downloads.html ...
分类：
系统相关 时间：
2020-03-24 10:43:21
阅读次数：
76
简介 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/ro ...
分类：
数据库 时间：
2020-03-23 09:54:02
阅读次数：
286
一、logstash结合kafka收集系统日志和nginx日志 架构图： 环境准备： A主机：kibana、elasticsearch，有条件可以将两个服务器分开：192.168.7.100 B主机：logstash主机:192.168.7.101/nginx服务器也在此主机上 C主机：logsta ...
分类：
其他好文 时间：
2020-03-23 09:48:02
阅读次数：
54
一、zookeeper介绍： ZooKeeper是一个分布式且开源的分布式应用程序协调服务。 zookeeper集群特性：整个集群种只要有超过集群数量一半的zookeeper工作只正常的，那么整个集群对外就是可用的，假如有2台服务器做了一个zookeeper集群，只要有任何一台故障或宕机，那么这个z ...
分类：
其他好文 时间：
2020-03-23 09:36:42
阅读次数：
73
SASL/PLAIN 是一种简单的 username/password 认证机制, 通常与 TLS 加密一起使用, 用于实现安全认证. Kafka 提供了一个默认的 SASL/PLAIN 实现, 可以做扩展后在生产环境使用. 1 配置kafka server端（每个broker） JAAS文件作为每 ...
分类：
其他好文 时间：
2020-03-23 00:29:27
阅读次数：
86
查看kafka版本 进入kafka安装目录 ... kafka/libs，看到类似kafka_2.12-2.0.0.jar这样的文件，2.12为scala版本，2.0.0是kafka版本（kafka使用了Scala进行开发）. zookeeper-server-start.sh 参照 kafka环境 ...
分类：
其他好文 时间：
2020-03-22 21:18:26
阅读次数：
86
https://kafka.apache.org/quickstart C:\W_O_R_K\kafka_2.12-2.2.0\kafka_2.12-2.2.0\bin\windows\zookeeper-server-start.bat C:\W_O_R_K\kafka_2.12-2.2.0\ka ...
分类：
其他好文 时间：
2020-03-22 18:06:25
阅读次数：
77
一、MQ存储分类 文件系统：RocketMQ/Kafka/RabbitMQ 关系型数据库DB：ActiveMQ（默认采用的KahaDB做消息存储）可选用JDBC的方式来做消息持久化 分布式KV存储：ZeroMQ 对比： 存储效率， 文件系统>分布式KV存储>关系型数据库DB 易于实现和快速集成，关系 ...
分类：
其他好文 时间：
2020-03-22 13:59:27
阅读次数：
184
技术 kafka：同一时刻，一条消息只能被组中的一个消费者实例消费 消费者组订阅这个主题，意味着主题下的所有分区都会被组中的消费者消费到，如果按照从属关系来说的话就是，主题下的每个分区只从属于组中的一个消费者，不可能出现组中的两个消费者负责同一个分区。 那么，问题来了。如果分区数大于或者等于组中的消 ...
分类：
其他好文 时间：
2020-03-22 10:56:10
阅读次数：
75
