一个典型的Kafka集群中包含若干Producer（可以是web前端FET，或者是服务器日志等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个Zookeeper集群。Kafka通过Zookeeper管理Kafka集群配置：选举Kafka broker的leader，以及在Consumer Group发生变化时进行rebalance，因为consumer消费kafka topic的partition的offsite信息是存在Zookeeper的。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分类：
其他好文 时间：
2018-10-18 17:00:16
阅读次数：
146
1 下载 wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 2 tar -zxvf kafka_2.12-2.0.0.tgz -C kafka 3 进入到config下： 修改zookee ...
分类：
其他好文 时间：
2018-10-03 00:25:44
阅读次数：
126
基于kafka: kafka_2.11-0.11.0.0.tgz kafka-eagle-bin-1.2.1.tar.gz 1.下载解压 tar -zxvf kafka-eagle-bin-1.2.1.tar.gz -C /home/cluster 2.配置 vim /home/cluster/ka ...
分类：
其他好文 时间：
2018-09-28 12:54:28
阅读次数：
770
参考博文：Kafka消费组(consumer group) 参考博文：kafka 1.0 中文文档（九）：操作 参考博文：kafka集群管理工具kafka-manager部署安装 以下操作可以在mini01、mini02、mini03任意一台操作即可。 1. kafka通过网页管理 参考博文：kaf ...
分类：
其他好文 时间：
2018-09-23 16:32:08
阅读次数：
173
参考博文：kafka 配置文件参数详解 参考博文：Kafka【第一篇】Kafka集群搭建 参考博文：如何为Kafka集群选择合适的Partitions数量 参考博文：Kafka Server.properties 参考博文：kafka常用配置【重要】 参考博文：kafka常用配置 1. 主机规划 主 ...
分类：
其他好文 时间：
2018-09-23 13:33:03
阅读次数：
478
关于kafka是什么及原理，请参考kafka官方文档的介绍：http://kafka.apache.org/documentation/#introduction ，英文不好的同学可以看这里http://ifeve.com/kafka-1/。 kafka依赖于zookeeper才能运行，而zooke ...
分类：
其他好文 时间：
2018-09-13 16:20:33
阅读次数：
173
由于工作需要，需要搭建hadoop+zookeeper+hbase+storm+kafka集群准备了三台服务器（一台8核+32G内存+300G硬盘充当master，一台8核+16G内存+300G硬盘充当slave01，一台8+16G+500G硬盘充当slave02，并且都能上网），具体如下：Master根据情况定义Hadoop、zookeeper、hbase、storm、kafka、Slave01
分类：
其他好文 时间：
2018-09-12 15:06:17
阅读次数：
147
一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区 ...
分类：
其他好文 时间：
2018-09-05 00:44:41
阅读次数：
288
主要参考了https://stackoverflow.com/questions/44651219/kafka-deployment-on-minikube和https://github.com/ramhiser/kafka-kubernetes两个项目，但是这两个项目都是单节点的Kafka，我这里 ...
分类：
Web程序 时间：
2018-08-31 21:20:09
阅读次数：
603
bin/kafka-server-start.sh config/server.properties ,问题来了 ： [root@localhost kafka_2.12-0.10.2.0]# Exception in thread "main" java.lang.UnsupportedClass ...
分类：
其他好文 时间：
2018-08-15 10:42:47
阅读次数：
262
