一、Kafka架构 Producer ：消息生产者，就是向 kafka broker 发消息的客户端； Consumer ：消息消费者，向 kafka broker 取消息的客户端； Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分 ...
分类：
其他好文 时间：
2020-05-01 18:58:23
阅读次数：
71
一、Kafka 0.11 参考文档 (1)https://kafka.apache.org/0110/documentation.html 二、kafka 0.8 1、命令行操作 (1)新建topic (2)发送消息 2、API使用 (1)pom依赖 (2)生产者api使用 参考文档 (1)http ...
1、批处理 传统消息中间件，一次只发送单挑消息；kafka，一次发送多条消息，微批处理。 2、数据压缩 日志格式，数据压缩，snappy， 3、顺序写入 只在log文件末尾追加 4、分区 参考： (1)https://mp.weixin.qq.com/s/G5nfLpPOr80pk1sHzrLuOA ...
分类：
其他好文 时间：
2020-04-30 09:49:07
阅读次数：
61
概述canal client将从canal server获取的binlog数据以json格式发送到各种MQ中(rabbitmq，redis，kafka)。部署第一步：下载解压项目，使用的是与canal-server 1.0.22版本对应的client（canal-client-1.0.22.tar. ...
分类：
其他好文 时间：
2020-04-29 18:12:34
阅读次数：
229
一个好的程序员，应该能设计出好的架构，而好的架构的各个系统之间往往是低耦合的，而消息队列，正是一个解耦的神器。 （1） 消息队列，也称消息中间件，主要优点是解耦、削峰、异步扩展性；并且kafka还能保证消息是顺序消费； （2） Kafka会将数据写到磁盘，所以不用担心数据断电丢失，所以，有时候，ka ...
分类：
其他好文 时间：
2020-04-29 17:55:16
阅读次数：
66
实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们需要实时数据的接入端，我们选择高扩展性、容错性、速度极快的消息系统Kafka，而实时数据仓库，由于 Druid提供了非常方便快捷配置方式，如果不想编写负责的Flink和 ...
分类：
其他好文 时间：
2020-04-28 14:53:34
阅读次数：
59
技术回顾系列:最新最热门的技术大事 第一周 每一周我们都会回顾一下上周发生的有趣的事情，现在让我们来看看上周都发生了哪些事情吧： Apache Kafka 2.5.0发布了 Apache软件基金会在四月16日发布了最新的Apache Kafka 2.5.0版本。 该版本包含了最新的安全更新，新的指标 ...
分类：
其他好文 时间：
2020-04-28 09:23:55
阅读次数：
60
（1）Producer的API 1、发送流程：Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccum ...
通过KafkaUtils.createDirectStream该方法创建kafka的DStream数据源，传入有三个参数：ssc，LocationStrategies，ConsumerStrategies。 LocationStrategies有三种策略：PreferBrokers，PreferCo ...
分类：
其他好文 时间：
2020-04-27 19:04:15
阅读次数：
657
kafka集群管理工具kafka manager部署安装 kafka manager 是雅虎开源的apache kafka管理工具，是用Scala写，所以在web页面进行操作即可。 github地址:https://github.com/yahoo/CMAK 安装步骤 下载并编译源码 注意：编译需要 ...
分类：
其他好文 时间：
2020-04-27 17:55:05
阅读次数：
127
