一、环境配置1.系统环境[root@date ~]# cat /etc/centos-release
CentOS Linux release 7.4.1708 (Core)2..安装JAVA环境yum -y install java java-1.8.0-openjdk-devel
#j
分类:
其他好文 时间:
2018-01-10 16:56:05
阅读次数:
166
1、集群部署的基本流程 Storm上游数据源之Kakfa 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 2、基础环境准备 3、集群部署 3.1下载安装包 wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0. ...
分类:
其他好文 时间:
2018-01-07 17:24:20
阅读次数:
124
producer 包含一个用于保存待发送消息的缓冲池,缓冲池中消息是还没来得及传输到kafka集群的消息。 位于底层的kafka I/O线程负责将缓冲池中的消息转换成请求发送到集群。如果在结束produce时,没有调用close()方法,那么这些资源会发生泄露。 常用配置 bootstrap.ser ...
分类:
编程语言 时间:
2018-01-01 00:24:15
阅读次数:
207
http://blog.csdn.net/Post_Yuan/article/details/52404417?locationNum=9 与其他MQ相比较,Kafka有一些优缺点,主要如下,优点:可扩展。Kafka集群可以透明的扩展,增加新的服务器进集群。高性能。Kafka性能远超过传统的Acti... ...
分类:
其他好文 时间:
2017-12-25 15:08:41
阅读次数:
174
The partition reassignment tool can also be used to selectively move replicas of a partition to a specific set of brokers. When used in this manner, i ...
分类:
其他好文 时间:
2017-12-14 19:17:42
阅读次数:
219
环境:CentOS 6.5KAFKA版本: kafka_2.11-0.8.2.1ZOOKEEPER版本: zookeeper-3.4.6JDK: 1.8.0_151SERVER: 172.16.2.27、172.16.2.28、172.16.2.29一、准备:1、安装JDK1.82、下载kafka和zookeeper安装包(二进制包)下载地址:kafka:http:/
分类:
其他好文 时间:
2017-12-12 15:00:13
阅读次数:
153
1、集群配置思路 1)每台节点上要启动一个broker进程,因此要配置每台的server.properties broker id, log.dirs, zookeeper.connect 2) 每台broker都要连接zookeeper将状态写入,因此要配置每台的zookeeper.propert ...
分类:
其他好文 时间:
2017-12-09 14:57:03
阅读次数:
200
环境:ubuntu14.04 版本:jdk1.8,zookeeper 3.4.10,kafka 2.11 搭建步骤: 1. 搭建zookeeper集群 参考链接:zookeeper集群搭建 2. 下载kafka源码包,并上传到服务器 下载链接:http://mirrors.tuna.tsinghua ...
分类:
其他好文 时间:
2017-11-28 18:47:15
阅读次数:
153
问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a d ...
分类:
其他好文 时间:
2017-11-17 10:42:32
阅读次数:
126