概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区位移：生产者向分区写入消息，每条消息在分区中的位置信息由一个叫offset的数据来表征。假设一个生产者向一个空分区写入了 10 条消息，那么这 10 条消息的位移依次是 0、1、…、9； 消费位移：消 ...
分类：
其他好文 时间：
2020-06-19 19:22:25
阅读次数：
64
介绍 一种高吞吐量的分布式发布订阅消息系统 消息类型：主体Topic（广播）、队列Queue（一对一） 消息系统类型：同步消息系统、异步消息系统 常见消息产品：Redis、Kafka、JMS 术语 Topic：Kafka处理消息源（feeds of messages）的不同分类（不同于传统MQ） P ...
分类：
数据库 时间：
2020-06-18 21:34:03
阅读次数：
82
前一篇总结了下生产者Java API，本篇参照源码总结下生产数据的具体流程，先上图： 1. Producer创建时，会创建一个Sender线程并设置为守护线程 2. 生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创 ...
分类：
其他好文 时间：
2020-06-18 21:10:43
阅读次数：
63
ClickHouse大数据分析技术与实战课程课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。本课程从零开始，有Linux操作系统和SQL使用经验即可。课程以案例驱动，包含大量的实践案例。将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。课程覆盖面广，既有基础功能的详细讲解，也包含了
分类：
其他好文 时间：
2020-06-18 17:49:42
阅读次数：
113
ClickHouse大数据分析技术与实战课程课程基于ClickHouse的最新的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。本课程从零开始，有Linux操作系统和SQL使用经验即可。课程以案例驱动，包含大量的实践案例。将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。课程覆盖面广，既有基础功能的详细讲解，也包含了
分类：
其他好文 时间：
2020-06-18 16:18:50
阅读次数：
65
前端开发的同学编辑器有很多选择，但是很多包括本人还是比较中意webstorm，它的强大之处在这就不多说了，有兴趣的自行百度。 但是在用的过程中经常会提示我们需要激活，网上也能找到一些激活码，但是发现用几天就过期了，又需要重新激活，在此，分享一个连接，自测可用，永久性激活。 https://www.j ...
分类：
Web程序 时间：
2020-06-18 13:23:18
阅读次数：
2032
本篇文章的目的是帮助Kafka初学者快速搭建一个Kafka集群，以及怎么在SpringBoot项目中使用Kafka。 kafka集群环境包地址：https://pan.baidu.com/s/1Mar6ADov94lUNMCR6eyFEA 提取码：x9yn 一、Kafka集群搭建 1、准备环境 （1 ...
分类：
编程语言 时间：
2020-06-18 13:04:08
阅读次数：
56
面试题内容涵盖：Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技术栈，一共有上百个面试题集合，资源难得，而且 ...
分类：
编程语言 时间：
2020-06-18 13:01:20
阅读次数：
62
事先说明，本文的所有实例均基于kafka2.5.0开发；依赖的jar包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version> < ...
分类：
编程语言 时间：
2020-06-17 23:08:15
阅读次数：
74
1，kafka包含3个组件：source、channel、sink source：1.7以上的版本提供了 TaildirSource，支持断点续传，1.6前的版本，需要自己开发程序，存储flume读取的文件位置，以便后续接着读取数据。 channel： FileChannel：数据存储在磁盘上，稳定 ...
分类：
Web程序 时间：
2020-06-17 11:20:34
阅读次数：
72
