docker 搭建zookeeper集群 安装docker compose容器编排工具 Compose介绍 Docker Compose 是 Docker 官方编排（Orchestration）项目之一，负责快速在集群中部署分布式应用。 Compose 项目是 Docker 官方的开源项目，负责实现 ...
分类：
其他好文 时间：
2019-08-31 15:26:56
阅读次数：
114
kafka 可以脱离 zookeeper 单独使用吗？为什么？ kafka 有几种数据保留的策略？ kafka 同时设置了7 天和10G 清除数据，到第五天的时候消息达到了10G，这个时候 kafka 将如何处理？ 什么情况会导致kafka 运行变慢？ 使用 kafka 集群需要注意什么？ ...
分类：
其他好文 时间：
2019-08-27 19:23:21
阅读次数：
67
上节说了kafka在linux环境下怎么搭建集群。这节写一下怎么在springcloud中以stream流方式去做kafka集群对接。 1.yml配置 2.消息发送 发送完毕后会在服务器中的topic下看到你传入的那个topic，并且会有三个分区，每个分区分别对应三台服务器并且每台服务器中会有两条消 ...
分类：
编程语言 时间：
2019-08-26 09:25:26
阅读次数：
220
在安装Kafka集群的时候，碰到这个问题。 我们知道在搭建Kafka集群的时候，我们需要设置broker.id，以作为当前服务器在整个集群的唯一标志。 网上搜查资料是说，log.dirs目录下的meta.properties中配置的broker.id和配置目录下的server.properties中 ...
分类：
Web程序 时间：
2019-08-23 14:58:20
阅读次数：
157
对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。 一、Kafka Monitoring 首先介绍kafka的监控原理，第三方工具也是通过这些来进行监控的，我们也可以自己去是实现监控，官 ...
分类：
其他好文 时间：
2019-08-23 12:00:44
阅读次数：
214
前提 zookeeper安装参考：https://www.cnblogs.com/JustinLau/p/11372782.html 其他安装参考：https://www.cnblogs.com/luotianshuai/p/5206662.html 安装Kafka前需要先安装zookeeper集群 ...
分类：
其他好文 时间：
2019-08-18 17:35:43
阅读次数：
69
时效性要求很高的数据，库存，采取的是数据库+缓存双写的技术方案，也解决了双写的一致性的问题 缓存数据生产服务，监听一个消息队列，然后数据源服务（商品信息管理服务）发生了数据变更之后，就将数据变更的消息推送到消息队列中 缓存数据生产服务可以去消费到这个数据变更的消息，然后根据消息的指示提取一些参数，然 ...
分类：
其他好文 时间：
2019-08-16 22:25:16
阅读次数：
92
场景说明：当客户端与服务端在不同区域（跨防火墙，地址均做了映射）时，客户端访问kafka时会出现获取不到broker的问题，但是网络之间是互通的。但在跨防火墙下，client请求zookeeper的时候，zookeeper返回给client的brokerIP是kafka的实际地址，而不是映射地址，因此client会访问失败。案例：zk注册的信息解决方式一、
分类：
其他好文 时间：
2019-08-14 12:35:35
阅读次数：
107
环境准备 zookeeper集群环境kafka是依赖于zookeeper注册中心的一款分布式消息对列，所以需要有zookeeper单机或者集群环境。 三台服务器： http://kafka.apache.org/downloads 中下载，目前最新版本的kafka已经到2.2.0,我这里之前下载的是 ...
分类：
系统相关 时间：
2019-08-03 15:09:43
阅读次数：
164
环境基于docker，三台物理主机192.168.0.27、192.168.0.28、192.168.0.29，每台主机部署一个zookeeper节点，一个kafka节点，共三个zookeeper节点，三个kafka节点，容器之间的网络采用host模式 1.拉取镜像 2.启动容器 step1. 创建 ...
分类：
其他好文 时间：
2019-08-02 18:42:00
阅读次数：
413
