码迷,mamicode.com
首页 > 其他好文 > 详细

安装部署Kafka集群

时间:2018-11-15 01:28:43      阅读:247      评论:0      收藏:0      [点我收藏+]

标签:生产   主机   zook   界面   rom   asics   集群   解压   分享图片   

kafka是一个开源的分布式消息订阅系统(消息中间件)

安装过程

1.下载kafka_2.11-0.10.1.0.gz(ps:千万不要下错了,博主就是下到了src文件上去了,kafka中的zookeeper起不起来)

2.上传至/usr/local/src

3.解压缩,并且移动到上级目录

4.进入主目录的config子目录,

5.修改server.properties配置文件

vim server.properties

内容如下:

技术分享图片

技术分享图片

6.保存并退出

7.主节点配置完毕,远程复制到另外两个节点

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local
scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi130:/usr/local

8.修改另外两个节点的server.properties 配置文件

修改内容分别如下:

主机:guoyansi129  

############################# Server Basics #############################
broker.id=1
host.name=guoyansi129

主机guoyansi130

############################# Server Basics #############################
broker.id=2
host.name=guoyansi130

 9.启动kafka的zookeeper服务

bin/zookeeper-server-start.sh config/zookeeper.properties

显示一些信息后;界面进入停顿状态;表示zookeeper启动成功;此时不要关闭窗口;

10.启动主节点的kafka服务

新开一个guoyansi128终端;

bin/kafka-server-start.sh config/server.properties

由于Kafka是作为守护进程加载的,执行上述命令后终端显示停顿状态,这表示系统已经处于后台运行状态,

所以不要关闭该终端,只要保持当前状态即可。

还可以另外开一个终端,执行jps查看当前系统的进程列表

技术分享图片

这里的QuorumPeerMain就是Kafka自带的zookeeper服务进程;

而kafka自然就是Kafka服务进程。

11.启动另外两个节点的Kafka服务;执行同样的命令:

bin/kafka-server-start.sh config/server.properties

12.主节点创建主题:

使用kafka,一定需要创建消息主题;

创建test主题

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test

技术分享图片

查看主题消息:

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181

技术分享图片

 

 13.另起终端创建消息生产者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test

界面处于等待状态

14.另起终端创建消息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning

此时界面同样处于等待状态

15.从13步的界面(生产者界面)输入信息,就会从14步(接收者界面)看到生产者界面输入的信息。 技术分享图片

16.查看主题中的信息:

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test

技术分享图片

 

安装部署Kafka集群

标签:生产   主机   zook   界面   rom   asics   集群   解压   分享图片   

原文地址:https://www.cnblogs.com/guoyansi19900907/p/9961143.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!