Dubbo是我们常用的RPC框架，在写单元测试需要调用Dubbo消费Bean时，如何模拟Dubbo消费Bean的行为呢？ 就拿发邮件来说，通常，在代码中，我们是调用邮件的Dubbo服务来完成发送邮件的目的，于是我们会在Spring配置好的发邮件的Dubbo消费Bean,dubbo-consumer. ...
分类：
其他好文 时间：
2019-12-09 18:53:51
阅读次数：
229
1、Offset Topic Consumer通过提交Offset来记录当前消费的最后位置，以便于消费者发生崩溃或者有新的消费者加入消费者组，而引发的分区再均衡操作，每个消费者可能会分到不同的分区。我测试的kafka版本是：0.11.0.2，消费者往一个特殊的主题“_consumer_offset” ...
分类：
其他好文 时间：
2019-12-08 22:58:03
阅读次数：
140
[toc] 集群启动 启动zookeeper集群 cd /usr/app/zookeeper/bin ./zkServer.sh start 依次启动。 启动kafka集群 cd /usr/app/kafka bin/kafka server satrt.sh daemon config/serve ...
分类：
其他好文 时间：
2019-12-07 16:34:29
阅读次数：
184
zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。 而且，这也是面试时经常问的。 zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper ...
分类：
其他好文 时间：
2019-12-07 10:23:23
阅读次数：
111
主题： 1、kafka是写磁盘还是写内存？ 2、kafka究竟是由 consumer 从 broker 那里拉数据，还是由 broker 将数据推到 consumer？ 3、如何区分已消费（consumed）的记录？ 4、kafka用什么方法保障持久化的低延迟和高效率？ 5、kafka的消息保证有几 ...
分类：
其他好文 时间：
2019-12-05 18:29:32
阅读次数：
106
我们这里的dubbo-consumer是dubbo-demo-service的消费者： 我们之前已经在jenkins配置好了流水线，只需要填写参数就行了。 由于dubbo-consumer用的gitee的私有仓库，需要添加公钥，这里大家可以自己找个client服务来做实验。 下面是我们通过jenki ...
分类：
Web程序 时间：
2019-12-04 20:13:35
阅读次数：
123
案例分析 处理kafka consumer的程序的时候，发现如下错误： 1 2 3 4 5 6 7 8 9 10 ERROR [2016-07-22 07:16:02,466] com.flow.kafka.consumer.main.KafkaConsumer: Unexpected Error ...
分类：
其他好文 时间：
2019-12-04 11:49:24
阅读次数：
94
– zookeeper is not a recognized option主要原因是 Kafka 版本过高，命令不存在。 使用新版本： ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test -- ...
分类：
其他好文 时间：
2019-12-04 10:32:16
阅读次数：
84
一、创建父子工程 1、创建Consumer子工程 （1）pom.xml导入依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww ...
分类：
其他好文 时间：
2019-12-03 16:46:35
阅读次数：
84
因为在具体开发中某些环节考虑使用kafka却担心有消息丢失的风险，本周结合项目对kafka的消息可靠性做了一下调研和总结： 首先明确一下丢消息的定义。kafka集群中的部分或全部broker挂了，导致consumer没有及时收到消息，这不属于丢消息。broker挂了，只要消息全部持久化到了硬盘上，重 ...
分类：
其他好文 时间：
2019-12-03 14:18:21
阅读次数：
127
