条件：搭建好kafka环境 搭建zookeeper+kafka地址：https://www.cnblogs.com/weibanggang/p/12377055.html 1、java无注解方式 加入kafka包： <dependency> <groupId>org.apache.kafka</gr ...
分类：
编程语言 时间：
2020-03-04 23:07:57
阅读次数：
100
1. 概述 Apache Kafka 是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。其具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 笔者之前在物联网公司工作，其中 Kafka 作为物联网 MQ 选型的事实标准，这里优先给大家搭建 Kafka 集群 ...
分类：
其他好文 时间：
2020-03-04 21:21:23
阅读次数：
69
1.Kafka文件存储基本结构 1）在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1 2）每个partion(目录 ...
分类：
其他好文 时间：
2020-03-03 22:34:12
阅读次数：
102
[TOC] 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 安装 集群，需要把集群状态保存在 上，所以需要先安装 。 环境准备 主机名 | 系统 | I ...
分类：
其他好文 时间：
2020-03-03 20:52:02
阅读次数：
83
什么是再平衡 所谓的再平衡，指的是在kafka consumer所订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会触发再平衡： consumer group中的新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上； consumer订阅的top ...
分类：
其他好文 时间：
2020-03-03 20:35:52
阅读次数：
86
In our previous blog on A Case for Mirromaker 2, we had discussed how enterprises rely on Apache Kafka as an essential component of their data pipelin ...
分类：
其他好文 时间：
2020-03-03 10:34:32
阅读次数：
85
Flume: source: Avro是一个轻量级的rpc框架，可以解决单点故障。 Thrift少用。 Exec:类似 tail -f spooling Directory:目录 Tail dir多个目录里面动态变化的数据 kafka sosurce netcat source 图中红色用法较多。 ...
分类：
Web程序 时间：
2020-03-03 10:33:19
阅读次数：
61
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
参考: jmxtrans+InfluxDb+Grafana部署: https://www.jianshu.com/p/ac30f06d433f GG jmx:http://www.jmxtrans.org/jmxtrans监控kafka参数：https://www.sohu.com/a/166756 ...
分类：
数据库 时间：
2020-03-02 21:07:12
阅读次数：
98
概述 听到这个名字是不是很熟悉，没错这个名字就是文学家卡夫卡的英文，传说中国的王小波也被誉为东方的乔伊斯+卡夫卡，哈哈哈，当然这篇文章不是谈论文学家卡夫卡的，那为什么一个消息中间件叫kafka呢？很简单就是这个中间件的作者喜欢卡夫卡，所以就这么命名了，如果有一天你也写出来一个牛逼的软件，而且你也很喜 ...
分类：
编程语言 时间：
2020-03-02 18:49:41
阅读次数：
86
