Kafa consumer消费消息时，向broker发出fetch请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可以向后回滚去重新消费之前的消息，这是很有意义的 ...
分类：
其他好文 时间：
2020-05-26 21:58:05
阅读次数：
373
#1 jdk安装 sudo rpm -ivh $KINGSTAR_JDK_NAME #2 安装zookeeper unzip $source_zookeeper_dir -d $install_zookeeper_dir sh zkServer.sh start #3 kafka安装 tar -xv ...
分类：
其他好文 时间：
2020-05-26 18:35:16
阅读次数：
63
Kafka快速入门（七）——Kafka监控一、Kafka监控指标1、Kafka主机监控指标主机监控是监控Kafka集群Broker所在的节点机器的性能。常见的主机监控指标包括：（1）机器负载（Load）（2）CPU使用率（3）内存使用率，包括空闲内存（FreeMemory）和已使用内存（UsedMemory）（4）磁盘I/O使用率，包括读使用率和写使用率网络（5）I/O使用率（6）TCP连接数（7
分类：
其他好文 时间：
2020-05-26 10:38:25
阅读次数：
75
应用场景由于朋友所在公司对安全性要求较高，zabbix所在的网络环境不能上外网，因此不能通过zabbix将告警直接发送至一些即时通讯工具，这就需要将报警消息发送至一些中间件，并通过中间件转发出去，这里选择使用了kafka，当然kafka中不只有报警信息，也有其他需要发送的数据，这里就不过多透漏基础环境配置kafka集群已部署好，这里不介绍安装细节vim/etc/hosts192.168.179.1
分类：
其他好文 时间：
2020-05-26 10:32:24
阅读次数：
118
Kafka快速入门（六）——Kafka集群部署一、Kafka集群部署方案规划1、操作系统选择通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下：（1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。（2）网络传
分类：
其他好文 时间：
2020-05-26 10:30:54
阅读次数：
69
在Kafka中，当有新消费者加入或者订阅的topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下： 第一步：所有成员都向coordinator发 ...
分类：
其他好文 时间：
2020-05-26 09:13:35
阅读次数：
98
我们可以使用 bin/kafka-topics.sh 命令对 Kafka 增加 Kafka 的分区数据，但是 Kafka 不支持减少分区数。 Kafka 分区数据不支持减少是由很多原因的，比如减少的分区其数据放到哪里去？是删除，还是保留？删除的话，那么这些没消费的消息不就丢了。如果保留这些消息如何放 ...
分类：
其他好文 时间：
2020-05-26 01:16:47
阅读次数：
283
zookeeper 是一个分布式的协调组件，早期版本的kafka用zk做meta信息存储，consumer的消费状态，group的管理以及 offset的值。考虑到zk本身的一些因素以及整个架构较大概率存在单点问题，新版本中逐渐弱化了zookeeper的作用。新的consumer使用了kafka内部 ...
分类：
其他好文 时间：
2020-05-25 23:38:48
阅读次数：
296
unclean.leader.election.enable 为true的话，意味着非ISR集合的broker 也可以参与选举，这样有可能就会丢数据，spark streaming在消费过程中拿到的 end offset 会突然变小，导致 spark streaming job挂掉。如果unclea ...
分类：
其他好文 时间：
2020-05-25 14:01:02
阅读次数：
89
