使用Docker快速搭建Zookeeper和kafka集群
分类：
其他好文 时间：
2018-12-20 01:04:12
阅读次数：
369
关于 Topic 和 Partition： Topic： 在 kafka 中，topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息，也可以有 ...
分类：
其他好文 时间：
2018-12-19 15:40:08
阅读次数：
804
这里通过 VMware ，我们安装了三台虚拟机，用来搭建 kafka集群，虚拟机网络地址如下： hostname ipaddress subnet mask geteway 1、 master 192.168.146.200 255.255.255.0 192.168.146.2 2、 slave1 ...
分类：
其他好文 时间：
2018-12-15 00:22:35
阅读次数：
187
恢复内容开始 使用kafka的zookeeper来搞集群的话和单纯用zk的其实差不了多少。 0.说在前头，搭建kafka集群之前请把每个服务器的jdk搞起来。 1.安装kafka 下载kafka然后放到你的目录下 解压 tar zxvf kafka_2.11-2.0.0.tgz 2.配置zk cd ...
分类：
其他好文 时间：
2018-12-14 23:02:06
阅读次数：
200
本教程主要说明kafka0.10.2.1集群的安装；hdp-02,hdp-03,hdp-04是我集群节点的名称，修改配置文件，请根据自身的节点名称进行修改。 基本概念 Broker ： 安装Kafka服务的那台集群就是一个broker（broker的id要全局唯一） Producer ：消息的生产者 ...
分类：
其他好文 时间：
2018-12-06 22:14:58
阅读次数：
147
一、前言 为什么要设计kafka告警方案？现成的监控项目百度一下一大堆，KafkaOffsetMonitor、KafkaManager、 Burrow等，具体参考：kafka的消息挤压监控。由于本小组的项目使用的kafka集群并没有被公司的kafka-manager管理，所以只能自己简单做一个告警。 ...
分类：
其他好文 时间：
2018-12-04 17:12:53
阅读次数：
124
生产上kafka集群长时间使用会导致topic容器下已被消费的消息过多，进而导致在重新选主时切换时间长的问题。 追根到底来讲切换Leader时间都花费在zookeeper文件同步上，但是kafka恰恰没有清理已被消费消息的机制， 故导致死尸消息每次在节点重启或者切主都会时间很常，而zookeeper ...
分类：
其他好文 时间：
2018-12-01 11:13:14
阅读次数：
190
1、Kafka集群结构 在第一章我给出过一个消息系统通用的结构图，也就是下图： 实际上kafka的结构图是有些区别的，现在我们看下面的图： producer和consumer想必大家都很熟悉，一个生产消息，一个消费掉消息。这里就不再做太多解释。 此图和第一张图可以看到有几个区别： 1、多了zooke ...
分类：
Web程序 时间：
2018-11-27 17:12:20
阅读次数：
141
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.问题描述使用kafka-topics--delete命令删除topic时并没有真正的删除，而是把topic标记为：“markedfordeletion”，导致重新创建相同名称的Topic时报错“alreadyexists”。2.问题复现1.登录Kafka集群所在的服务器，创建一个test的topic[root@cdh1~]#kafk
分类：
其他好文 时间：
2018-11-20 11:39:15
阅读次数：
187
kafka是一个开源的分布式消息订阅系统（消息中间件） 安装过程 1.下载kafka_2.11-0.10.1.0.gz（ps:千万不要下错了，博主就是下到了src文件上去了，kafka中的zookeeper起不起来） 2.上传至/usr/local/src 3.解压缩，并且移动到上级目录 4.进入主 ...
分类：
其他好文 时间：
2018-11-15 01:28:43
阅读次数：
247
