一、zookeeper介绍： ZooKeeper是一个分布式且开源的分布式应用程序协调服务。 zookeeper集群特性：整个集群种只要有超过集群数量一半的zookeeper工作只正常的，那么整个集群对外就是可用的，假如有2台服务器做了一个zookeeper集群，只要有任何一台故障或宕机，那么这个z ...
分类：
其他好文 时间：
2020-03-23 09:36:42
阅读次数：
73
SASL/PLAIN 是一种简单的 username/password 认证机制, 通常与 TLS 加密一起使用, 用于实现安全认证. Kafka 提供了一个默认的 SASL/PLAIN 实现, 可以做扩展后在生产环境使用. 1 配置kafka server端（每个broker） JAAS文件作为每 ...
分类：
其他好文 时间：
2020-03-23 00:29:27
阅读次数：
86
查看kafka版本 进入kafka安装目录 ... kafka/libs，看到类似kafka_2.12-2.0.0.jar这样的文件，2.12为scala版本，2.0.0是kafka版本（kafka使用了Scala进行开发）. zookeeper-server-start.sh 参照 kafka环境 ...
分类：
其他好文 时间：
2020-03-22 21:18:26
阅读次数：
86
https://kafka.apache.org/quickstart C:\W_O_R_K\kafka_2.12-2.2.0\kafka_2.12-2.2.0\bin\windows\zookeeper-server-start.bat C:\W_O_R_K\kafka_2.12-2.2.0\ka ...
分类：
其他好文 时间：
2020-03-22 18:06:25
阅读次数：
77
一、MQ存储分类 文件系统：RocketMQ/Kafka/RabbitMQ 关系型数据库DB：ActiveMQ（默认采用的KahaDB做消息存储）可选用JDBC的方式来做消息持久化 分布式KV存储：ZeroMQ 对比： 存储效率， 文件系统>分布式KV存储>关系型数据库DB 易于实现和快速集成，关系 ...
分类：
其他好文 时间：
2020-03-22 13:59:27
阅读次数：
184
技术 kafka：同一时刻，一条消息只能被组中的一个消费者实例消费 消费者组订阅这个主题，意味着主题下的所有分区都会被组中的消费者消费到，如果按照从属关系来说的话就是，主题下的每个分区只从属于组中的一个消费者，不可能出现组中的两个消费者负责同一个分区。 那么，问题来了。如果分区数大于或者等于组中的消 ...
分类：
其他好文 时间：
2020-03-22 10:56:10
阅读次数：
75
记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message，在V1版本中是如下部分组成，主要关系key和value。 （1）key：当需要将消息写入到某个t ...
分类：
其他好文 时间：
2020-03-22 01:01:11
阅读次数：
82
一、Bus简介 是什么： Spring Cloud Bus 使用轻量级的消息代理（目前只支持两种，RabbitMQ 和 Kafka）连接分布式系统的节点，这样就可以广播传播状态的更改（例如配置的更新）或者其他的管理指令。可将 Spring Cloud Bus 想象成一个分布式 Spring Boot ...
分类：
编程语言 时间：
2020-03-21 23:09:00
阅读次数：
81
架构层面做的强大，满足各个租户的自定义和系统集成。 中国呢，过去的3年已经证明面向中小企业、创业企业基本是不靠谱，所以从去年下半年，大家都纷纷杀入中大型企业、大型企业。这些中国企业，要么要求在他们的私有云中部署，要么要求在公有云为他们开辟一个专区专门独立部署，而且都要求和他们现有的内部ERP软件统一 ...
分类：
其他好文 时间：
2020-03-21 18:18:31
阅读次数：
63
C:\tools\kafka_2.12-2.4.1>zookeeper-server-start.bat config\zookeeper.properties C:\tools\kafka_2.12-2.4.1>kafka-server-start.bat config\server.proper ...
分类：
其他好文 时间：
2020-03-21 09:22:00
阅读次数：
54
