使用Kafka作为消息中间件消费数据时，监控Kafka消费的进度很重要。其中，在监控消费进度的过程中，主要关注消费Lag。 常用监控Kafka消费进度的方法有三种，分别是使用Kafka自带的命令行工具、使用Kafka Consumer API和Kafka自带的JMX监控指标，这里介绍前两种方法。 注 ...
分类：
其他好文 时间：
2020-01-25 16:44:02
阅读次数：
120
kafka-consumer参数配置 以及默认值参数配置以及默认值Consumer 一些概念消费者 Consumerkafka 消费者，消费kafka队列里的消息，可以有多种语言实现， python java scala Go …,consumer group 即是由多个独立消费者组成，消费 Top... ...
分类：
其他好文 时间：
2020-01-21 23:50:29
阅读次数：
150
crontab常用命令 1 创建crontab任务 1.1 service cron status 查看定时任务是否开启 1.2 crontab e 编辑用户的crontab文件的内容 1.3 crontab l 显示用户的crontab文件的内容 2 日志服务 2.1 修改rsyslog 2.2 ...
分类：
系统相关 时间：
2020-01-21 21:54:30
阅读次数：
354
什么是消息中间件 消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。对于消息中间件，常见的角色大致也就有Producer（生产者）、Consumer（消费者） 常见的消息中间件产品: ...
分类：
其他好文 时间：
2020-01-21 16:36:33
阅读次数：
89
回忆一下,在上一篇文章中,我们使用eureka作为注册中心,将producer注册到eureka,并且在consumer中通过eureka发现producer服务进行调用,让我们来分析一下,这样是否已经足够完美,还有没有什么问题? 1.首先,eureka没有任何安全验证,任何应用都可以访问,这显然不 ...
分类：
编程语言 时间：
2020-01-20 09:30:08
阅读次数：
60
回忆一下,在上一篇文章中,我们创建了两个springboot项目,并且在consumer项目中通过restTemplate进行HTTP通信,成功访问到了producer提供的接口,思考一下这样的实现方式有什么问题? 1.consumer必须知道prod ...
分类：
编程语言 时间：
2020-01-19 09:26:33
阅读次数：
173
这节介绍RocketMQ客户端的启动流程，即Consumer和Producer的启动流程。 1. 客户端demo 首先先看下客户端的demo Producer: Producer和Consumer的启动类似，在初始化然后进行必要设置（主要是客户端所属的Group和NameSe ...
分类：
其他好文 时间：
2020-01-18 01:14:30
阅读次数：
73
```java public class SimulateHighConcurrency { public static void run(int num, Consumer action) { Objects.requireNonNull(action); CountDownLatch count... ...
分类：
编程语言 时间：
2020-01-17 09:21:30
阅读次数：
70
MQ产品常用的三种协议： 1:JMS rocketMQ，activeMQ 2.AMQP RabbitMq 3.MQTT activeMQ RabbitMQ是AMQP的一种实现。 AMQP是什么？ 基本概念 broker：消息代理 producer: 消息的生产者 consumer: 消息的消费者 e ...
分类：
其他好文 时间：
2020-01-16 22:25:32
阅读次数：
93
文章目录 一、 Producer端重试 二、 Consumer端重试 1. Exception 2. Timeout总结 对于MQ，可能存在各种异常情况，导致消息无法最终被Consumer消费掉，因此就有了消息失败重试机制。很显示，消息重试分为2种：Producer端重试和Consumer端重试。 ...
分类：
其他好文 时间：
2020-01-15 19:11:14
阅读次数：
95
