假定某消费组下有 3 个消费者,c0,c1,c2,订阅了 topic_zhang,该 topic 有 2 个 queue,分别是 q0,q1 现在我们有一个数组,按 consumer 名的哈希值大小排列:[c1,c0,c2] 先不考虑虚拟节点 q1 分配给 C0,q0 分配给 C2 当 C0 下线之 ...
分类:
其他好文 时间:
2020-04-11 13:02:57
阅读次数:
78
Windows10-1909版本官方镜像 镜像区别: Consumer Editions=家庭版+家庭单语言版+专业版+教育版+专业教育版+专业工作站版 Business Editions=专业版+企业版+教育版+专业工作站版+专业教育版 注:家庭版,供家庭用户使用,无法加入 Active Dire ...
**6.启动zookeeper** ```/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ``` **7.启动kafka** ```/opt/kafka/bin/kafka-server- ...
分类:
其他好文 时间:
2020-04-07 09:45:34
阅读次数:
250
迭代器模式是数据访问遍历的一种行为模式。java中List、Set、Map 等都包含了迭代器。迭代器提供一个对象来顺序访问聚合对象中的一系列数据,而不暴露聚合对象的内部表示。迭代器模式的优点: 无须暴露聚合对象的内部表示 遍历任务交由迭代器完成,简化聚合类 遍历的方式可扩展 模式结构 迭代器模式主要 ...
分类:
其他好文 时间:
2020-04-07 09:23:13
阅读次数:
70
1:topic下面的queue 奇偶数会影响消费端的消费数量, 假设 4个队列,8个消息,每个节点各自消费两条,如果不对等的话,就没办法做一个负载均衡 队列的数量要大于consumer数量,不然多出来的consumer无法分配到queue,消息没办法消费,需要控制队列大于消费端 2:集群模式和广播模 ...
分类:
其他好文 时间:
2020-04-06 16:01:42
阅读次数:
135
Kafka-消费者-偏移量的提交方式 每次调用poll()方法,它总是返回由生产者写入Kafka但还没有被消费者读取过的记录,可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息,消息里包含每个分区的 ...
分类:
其他好文 时间:
2020-04-06 15:43:22
阅读次数:
74
开发了个Event Queue的application,从数据库查询一条语句,然后update这条数据,接着调用rest api,这个简单的服务在load test的时候却出现了很多问题。 有的是Event Queue consumer的配置问题,也有SQL语句的问题。 1.当同时传入多条同样的参数 ...
分类:
其他好文 时间:
2020-04-05 09:37:31
阅读次数:
82
前期准备 因为注册QQ互联需要已备案的网站,所以需要准备一个已备案的网站与域名。 首先访问QQ互联平台 https://connect.qq.com/ ,注册成为开发者; 然后创建一个网站应用,等审核成功后会得到一个APP ID与APP KEY,后面会使用到。 开发流程 图1 准备网站应用 1 前端 ...
分类:
编程语言 时间:
2020-04-03 13:40:29
阅读次数:
255
简介 互联网产品主要分为两大类,分别是B端产品和C端产品。B端产品主要管业务(Business)代表系统有ERP、WMS、CRM等,C端产品主要管消费者(Consumer)代表主要就是各种电商网站如淘宝、京东等。本篇文章将基于ABP框架搭建一个Business微服务,后续我会逐渐添加一些实用的业务功 ...
分类:
其他好文 时间:
2020-04-02 17:57:43
阅读次数:
317
通过命令行工具(kafka-console-producer.sh和kafka-console-consumer.sh)是能够相互通信的,producer发布的信息consumer能够接收到。 但是java通过kafka-client的API写的代码始终不能跟kafka通信:java produce ...
分类:
编程语言 时间:
2020-04-02 10:24:08
阅读次数:
530