标签：consumer   hadoop   分布式   col   下载   lin   cse   ali   tab   

一、Kafka介绍

      Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等)。Kafka最核心的最成熟的还是他的消息引擎，所以Kafka大部分应用场景还是用来作为消息队列削峰平谷。另外，Kafka也是目前性能最好的消息中间件。

二、Kafka架构图

       Kafka集群(Cluster)中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer，多个Consumer可以促成Consumer Group共同消费一个Topic中的消息。

三、Kafka集群部署

Kafka 官网文档：http://kafka.apache.org/
Kafka 下载地址：http://kafka.apache.org/downloads

1、服务器规划

2、系统基础环境准备

#参照： https://www.cnblogs.com/yanxinjiang/p/12752871.html
#安装好JDK和Zookeeper集群 

  Kakfa集群需要依赖ZooKeeper存储Broker、Topic等信息，这里我们部署三台ZK。

3、

linux运维、架构之路-Kafka集群部署

标签：consumer   hadoop   分布式   col   下载   lin   cse   ali   tab   

原文地址：https://www.cnblogs.com/yanxinjiang/p/12759547.html