使用burrow监控Kafka Consumer Lag,通过telegraf将数据写入influxdb,接入grafana实现数据可视化,最终能够实现数据堆积告警。 ...
分类:
其他好文 时间:
2019-09-20 13:59:40
阅读次数:
395
生产者信号量producer(100); 消费者信号量consumer(0); 生产者是盛饭的,A桌子上有100个空碗就相当于有100个信号量。获得一个信号量相当于别人从桌子拿起一个碗递给他,他盛了1碗饭。A桌子总的碗数减1(A.acquire())A--。B桌子上有1碗可以吃(B.release( ...
分类:
其他好文 时间:
2019-09-19 01:24:04
阅读次数:
139
说明文档 Consumer 的扩展,用于在流管道的各个阶段处理值,并且提供了额外的方法去管理大小信息、控制流程等 在首次调用 Sink 的 accept() 方法之前,必须首先调用 begin() 方法去通知其数据即将过来(视情况还会通知 Sink 有多少数据即将过来),在所有数据发送过来后,必须调 ...
分类:
其他好文 时间:
2019-09-18 01:01:43
阅读次数:
69
参考:https://blog.csdn.net/jmj18756235518/article/details/81490966 函数式接口 定义:有且只有一个抽象方法的接口 Function: y = f(x) T: x 输入参数, R: 返回结果,y 所有标注了@FunctionalInterf ...
分类:
其他好文 时间:
2019-09-16 19:46:23
阅读次数:
90
华为开发者联盟 https://developer.huawei.com/consumer/cn/ 方舟编译器是为支持多种编程语言、多种芯片平台的联合编译、运行而设计的统一编程平台,包含编译器、工具链、运行时等关键部件。 方舟编译器还在持续演进中,陆续将上述能力实现和开源。 https://www. ...
分类:
其他好文 时间:
2019-09-14 16:52:53
阅读次数:
1229
好消息:IM1.0.0版本已经上线啦,支持特性 : 私聊发送文本/文件 已发送/已送达/已读回执 支持使用ldap登录 支持接入外部的登录认证系统 提供客户端jar包,方便客户端开发 github链接: "https://github.com/yuanrw/IM" 本篇将带大家从零开始搭建一个轻量级 ...
分类:
其他好文 时间:
2019-09-14 11:33:41
阅读次数:
170
FJ打算去购物,在此之前,他需要一些盒子来装他要买的各种各样的东西。每个盒子都用来携带一些特定的东西(也就是说,如果他要买这些东西,他必须事先买到盒子)。每种东西都有自己的价值。现在FJ的购物金额只有W美元,他想用这笔钱购物,使他所买的物品的总价值最高。 有多组测试数据 Input?每组数据的第一行 ...
分类:
其他好文 时间:
2019-09-13 15:50:58
阅读次数:
95
序言Kakfa MirrorMaker是Kafka 官方提供的跨数据中心的流数据同步方案。其实现原理,其实就是通过从Source Cluster消费消息然后将消息生产到Target Cluster,即普通的消息生产和消费。用户只要通过简单的consumer配置和producer配置,然后启动Mirr ...
分类:
其他好文 时间:
2019-09-11 19:46:10
阅读次数:
81
TransactionProducer(事务消息): 在分布式系统中,我们时常会遇到分布式事务的问题,除了常规的解决方案之外,我们还可以利用RocketMQ的事务性消息来解决分布式事务的问题。RocketMQ和其他消息中间件最大的一个区别是支持了事务消息,这也是分布式事务里面的基于消息的最终一致性方 ...
分类:
其他好文 时间:
2019-09-11 18:27:08
阅读次数:
105
一.前言 任何消息队列都是万变不离其宗都是3部分,消息生产者(Producer)、消息消费者(Consumer)和服务载体(在Kafka中用Broker指代)。那么本篇主要讲解Producer端,会有适当的图解帮助理解底层原理。 一.开发应用 首先介绍一下开发应用,如何构建一个KafkaProduc ...
分类:
其他好文 时间:
2019-09-10 22:05:10
阅读次数:
115