什么是再平衡 所谓的再平衡，指的是在kafka consumer所订阅的topic发生变化时发生的一种分区重分配机制。一般有三种情况会触发再平衡： consumer group中的新增或删除某个consumer，导致其所消费的分区需要分配到组内其他的consumer上； consumer订阅的top ...
分类：
其他好文 时间：
2020-03-03 20:35:52
阅读次数：
86
In our previous blog on A Case for Mirromaker 2, we had discussed how enterprises rely on Apache Kafka as an essential component of their data pipelin ...
分类：
其他好文 时间：
2020-03-03 10:34:32
阅读次数：
85
Flume: source: Avro是一个轻量级的rpc框架，可以解决单点故障。 Thrift少用。 Exec:类似 tail -f spooling Directory:目录 Tail dir多个目录里面动态变化的数据 kafka sosurce netcat source 图中红色用法较多。 ...
分类：
Web程序 时间：
2020-03-03 10:33:19
阅读次数：
61
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 218 ...
分类：
Web程序 时间：
2020-03-03 01:09:01
阅读次数：
118
参考: jmxtrans+InfluxDb+Grafana部署: https://www.jianshu.com/p/ac30f06d433f GG jmx:http://www.jmxtrans.org/jmxtrans监控kafka参数：https://www.sohu.com/a/166756 ...
分类：
数据库 时间：
2020-03-02 21:07:12
阅读次数：
98
概述 听到这个名字是不是很熟悉，没错这个名字就是文学家卡夫卡的英文，传说中国的王小波也被誉为东方的乔伊斯+卡夫卡，哈哈哈，当然这篇文章不是谈论文学家卡夫卡的，那为什么一个消息中间件叫kafka呢？很简单就是这个中间件的作者喜欢卡夫卡，所以就这么命名了，如果有一天你也写出来一个牛逼的软件，而且你也很喜 ...
分类：
编程语言 时间：
2020-03-02 18:49:41
阅读次数：
86
在生产环境中，经常会遇到MySql与Redis数据不一致的问题。那么如何能够保证MySql与Redis数据一致性的问题呢?话不多说，咱们直接上解决方案。 如果对Canal还不太了解的可以先去看一下官方文档:https://github.com/alibaba/canal 首先，咱们得先开启MySql ...
分类：
数据库 时间：
2020-03-02 15:02:43
阅读次数：
165
We are getting random NetworkExceptions and TimeoutExceptions in our production environment: Brokers: 3 Zookeepers: 3 Servers: 3 Kafka: 0.10.0.1 Zooke ...
分类：
Web程序 时间：
2020-03-02 12:49:05
阅读次数：
90
缓存： 1、如何做到高可用？ 2、持久化：RDB和AOF RDB的save和bgsave 3、缓存穿透 4、大key 5、整点密集推送方案 6、分布式锁 kafka： 1、kafka是如何保证消息的有序性？ ...
分类：
其他好文 时间：
2020-03-02 10:40:38
阅读次数：
42
2017年后，一大波网络喧嚣，说流式处理如何牛叉，如何高大上，抱歉，工作满负荷，没空玩那个； 今年疫情隔离在家，无聊，开始学习 KAFKA+Flink ，目前的打算是用爬虫抓取网页数据，传递到Kafka中，再用Flink计算。 个人性格原因，我不愿意过分沉迷于纸质或者电子教程材料，也不是特别喜欢网上 ...
分类：
其他好文 时间：
2020-03-02 01:04:26
阅读次数：
967
