特性如下： 可线性伸缩至超过数百个节点； 实现亚秒级延迟处理； 可与Spark批处理和交互式处理无缝集成； 提供简单的API实现复杂算法； 更多的流方式支持，包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后，将数据划分成批次（di ...
分类：
Web程序 时间：
2020-06-26 01:31:54
阅读次数：
136
端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不... ...
分类：
其他好文 时间：
2020-06-25 19:15:36
阅读次数：
119
一、基本概念 1、互斥量（mutex） 互斥量：是个类对象（可以理解为一把锁），多个线程尝试用lock()成员函数来加锁这把锁，只有一个线程能锁定成功（成功的标志是lock()函数能够返回，返回不了说明没有锁成功） 2、死锁 死锁：一般是两个或两个以上的互斥量，在两个或多个地方上锁的顺序不一致导致的 ...
分类：
编程语言 时间：
2020-06-25 17:29:08
阅读次数：
69
在html前端开发中，有很多专业的概念，这是学习时需要理解的，这是基础，只有理解了这些，才能熟练的使用框架。比如内联元素和内联样式。 内联样式属性： 当特殊的样式需要应用到个别元素时，就可以使用内联样式。 使用内联样式的方法是在相关的标签中使用样式属性。样式属性可以包含任何 CSS 属性。以下实例显 ...
分类：
Web程序 时间：
2020-06-25 16:01:03
阅读次数：
81
自定义分区器： import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; im ...
分类：
其他好文 时间：
2020-06-25 15:30:00
阅读次数：
55
这几年来，对领域设计DDD概念，以及部分实现DDD概念的ABP框架有或多或少的了解，过程大致是了解基本概念，了解ABP结构和实现方法。 要说学习这些对实际工作有什么帮助，其实还是有的，只是看个人对这些东西的理解和吸收。 对我个人而言，之前的学习断断续续，对DDD的概念和应用理解不多，没有把握理解到其 ...
分类：
其他好文 时间：
2020-06-25 14:12:23
阅读次数：
72
第 2 章 物理层 物理层的基本概念 物理层的主要任务描述为确定与传输媒体的接口的一些特性 机械特性 指明接口所用接线器的形状和尺寸、引线数目和排列、固定和锁定装置等等。 电气特性 指明在接口电缆的各条线上出现的电压的范围。 功能特性 指明某条线上出现的某一电平的电压表示何种意义。 过程特性 指明对 ...
分类：
其他好文 时间：
2020-06-25 14:06:36
阅读次数：
92
kafka只接收bytes字节数组，所以自定义序列化器内部实现需按照bytes字节数组转换为标准。 重点：本例子只是提供参考怎样写自定义序列化器，因为关系到性能，一般默认使用StringSerializer即可，效率很高。 1) 自定义序列化类，转换成bytes字节数组： import cn.enj ...
分类：
其他好文 时间：
2020-06-25 13:42:15
阅读次数：
81
1）引入maven依赖 我这里使用的是springboot 2.1.3.RELEASE 版本： <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </depe ...
分类：
其他好文 时间：
2020-06-25 12:20:32
阅读次数：
155
springboot集成kafka是比较简单的是事情，但是kafka发送消息的失败回调在日常工作中，如果不容忍消息丢失的话，发送失败需要再次发送或者放到数据库中用任务重推。以下是演示用的发送类代码 @Slf4j @Component public class TestRunner implement ...
分类：
编程语言 时间：
2020-06-25 12:04:39
阅读次数：
143
