最近遇到一个kafka方面的问题，大致就是由于consumer处理业务超时，导致无法正常提交Offset，进而导致无法消费新消息的问题。下面我想从以下几个方面对此次故障排查进行复盘分析：业务背景、问题描述、排查思路、经验教训。
分类：
其他好文 时间：
2019-10-09 19:22:43
阅读次数：
1356
Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置，而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要，因为它的参数足以影响集群性能以及topic 的行为。 在一个topic被创建后，会有它默认的参数， ...
分类：
Web程序 时间：
2019-10-06 19:05:42
阅读次数：
111
kafka的术语（Terminology） Topic 和Consumer Group Topic 每条发布到 Kafka 集群的消息都有一个类别，这个类别被称为 Topic。（物理上不同 Topic 的消息分开存储，逻辑上一个 Topic 的消息虽然保存于一个或多个 broker 上但用户只需指定 ...
分类：
其他好文 时间：
2019-10-06 11:05:33
阅读次数：
46
ribbon实现负载均衡 上文只是将服务注册到eureka上，但是consumer还是硬编码调用，前文也有提到这种硬编码方式肯定是不合理的，一来服务上线之后，IP地址肯定是变动的， 再则，采用硬编码的方式是无法实现负载均衡的。 ribbon便是一个用来做负载均衡的组件。 ribbon是一个负载均衡客 ...
分类：
编程语言 时间：
2019-10-06 09:55:07
阅读次数：
115
简单图示 把数据放到消息队列叫做生产者 从消息队列中获取数据叫做消费者 消息队列 概念：生产者和消费者之间的一个中间件。本质是一个队列。 消息队列能做的事情（为什么） 解耦（各个的部分，互不影响） 异步处理（每个部分异步处理，缩短时间） 削峰/限流（降低服务器的压力） 消息队列要注意的问题 数据保存 ...
分类：
其他好文 时间：
2019-10-06 09:44:58
阅读次数：
79
在上一节中，我们为了使用Lambda表达式不得不创建了各种函数描述符的函数式接口，其实Java 8已经给我们提供了一套能够描述常见函数描述符的函数式接口。比如Predicate<T>、Consumer<T>、Function<T,R>、Supplier<T>等，这些函数式接口位于java.util. ...
分类：
编程语言 时间：
2019-10-05 20:41:10
阅读次数：
85
一. 微服务消费者改造 注：修改microservicecloud-consumer-dept-80工程 1. pom.xml添加依赖 2. application.properties添加eureka的服务注册地址 3. 使用@LoadBalanced修饰RestTemplate实例，获得Rest ...
分类：
其他好文 时间：
2019-10-04 11:33:35
阅读次数：
71
1.特性 1）高吞吐量、低延迟 2）支持热扩展 3）支持高并发 2.组成 Producer 特指消息的生产者 Consumer 特指消息的消费者 Consumer Group 消费者组，可以并行消费Topic中partition的消息 Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 ...
分类：
其他好文 时间：
2019-10-02 18:52:29
阅读次数：
104
dubbo实质是一个jar,可通过maven引入 服务提供者（Provider）：暴露服务的服务提供方，服务提供者在启动时，向注册中心注册自己提供的服务。 服务消费者（Consumer）: 调用远程服务的服务消费方，服务消费者在启动时，向注册中心订阅自己所需的服务，服务消费者，从提供者地址列表中，基 ...
分类：
其他好文 时间：
2019-10-02 14:59:41
阅读次数：
89
1.消息中间件 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见的角色大致也就有Producer（生产者）、Consumer（消费者）。 2.常见的中间件产品 ...
分类：
其他好文 时间：
2019-09-30 21:40:55
阅读次数：
186
