（一）、环境介绍1、服务器的相关设置：1、kafka1:172.20.67.522、kafka2:172.20.67.563、kafka3:172.20.67.572、zookeeper所需的三个端口1、21812、28883、3888三个端口的作用：2181:对客户端提供服务2888:集群内机器通讯使用（Leader监听此端口）3888:选举leader使用3、kafka所需的端口9092：ka
分类：
其他好文 时间：
2018-11-12 19:59:13
阅读次数：
254
（一）、环境介绍1、服务器的相关设置：1、kafka1:172.20.67.522、kafka2:172.20.67.563、kafka3:172.20.67.572、zookeeper所需的三个端口1、21812、28883、3888三个端口的作用：2181:对客户端提供服务2888:集群内机器通讯使用（Leader监听此端口）3888:选举leader使用3、kafka所需的端口9092：ka
分类：
其他好文 时间：
2018-11-12 18:37:18
阅读次数：
237
Kafka + zookeeper 的搭建部署，以及 kafka-manager 部署管理、监控 kafka 集群。
分类：
其他好文 时间：
2018-11-11 17:59:23
阅读次数：
176
一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分类：
其他好文 时间：
2018-11-10 23:53:56
阅读次数：
231
（一）、简介1、Kafka简介：Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(s
分类：
其他好文 时间：
2018-11-06 15:12:53
阅读次数：
137
kafka消息存储机制 （一）关键术语 复习一下几个基本概念，详见上面的基础知识文章。 Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker能够组成一个Kafka集群。 Topic：一类消息，比如page view日志、click日志等都能够以topic的形式存 ...
分类：
其他好文 时间：
2018-10-30 21:56:50
阅读次数：
253
什么是Kafka？ Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Kafka基本概念 Broker:物理概念，Kafka集群中的每个Kafka节点； Topi ...
分类：
其他好文 时间：
2018-10-28 11:10:16
阅读次数：
214
首先，我们在安装前，要考虑一个问题 Hyperledger Fabric，通过指定的节点进行背书授权，才能完成交易的存储 延伸开来，就是为了实现容错、高并发、易扩展，需要zookeeper来选择排序引擎处理记账的唯一性 我们这里选择kafka排序引擎并通过Kafka集群和zookeeper集群保证数 ...
分类：
其他好文 时间：
2018-10-27 13:28:54
阅读次数：
257
kafka术语 Kafka Cluster : Kafka集群 Broker: kafka集群中的所有节点（安装了kafka软件的这台节点），我们称之为broker每台broker有唯一的标识； Producer: 往kafka里面生产数据的一端，叫做produce; Consumer: 从kafk ...
分类：
其他好文 时间：
2018-10-23 21:11:39
阅读次数：
156
Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn,Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。0.8版本开始，kafka支持集群内复制，从而提高可用性和系统稳定性，这篇文章主要概述kafka复制的设计。复制有了复制后，kafka客户端将会得到如下好处：生产者能在出现故障的时
分类：
其他好文 时间：
2018-10-21 21:52:55
阅读次数：
293
