Kafka 创建背景 Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用 ...
分类：
其他好文 时间：
2020-06-02 13:23:04
阅读次数：
70
一、kafka的基础架构 1）Producer ：消息生产者，就是向kafka broker发消息的客户端； 2）Consumer ：消息消费者，向kafka broker取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费 ...
分类：
其他好文 时间：
2020-06-02 11:14:14
阅读次数：
69
Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in ...
分类：
编程语言 时间：
2020-06-01 16:56:16
阅读次数：
74
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0：表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大（因为当 server 宕机时，数据将会丢失）。 Ø 1：表示 produce ...
分类：
其他好文 时间：
2020-05-31 21:27:40
阅读次数：
48
前言 要了解生产者ISR，需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 （1）没有到deli ...
分类：
其他好文 时间：
2020-05-31 18:19:32
阅读次数：
105
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 21:48:33
阅读次数：
75
引言 Kafka是一款很棒的消息系统，今天我们就来深入了解一下它的实现细节，首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer，需要有brokerIP、序列化器等必要Properties以及acks（0、1、n）、compression、retries、ba ...
分类：
其他好文 时间：
2020-05-30 20:02:40
阅读次数：
60
第1章 Kafka概述 1.1 消息队列 1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是 ...
分类：
其他好文 时间：
2020-05-30 19:39:36
阅读次数：
63
1.前言 分布式微服务想要热更新配置文件，还需要 消息中间件 配合使用 ，一般使用 rabbitMQ 或 Kafka ，这里不解释 。 这篇随笔 只讲解 底层的 单机热更新配置文件 2.环境 spring boot ： 2.1.6.RELEASE spring cloud : Greenwich.S ...
分类：
编程语言 时间：
2020-05-29 23:10:27
阅读次数：
119
Spark Streaming 是什么 1、SPark Streaming 是 Spark 中一个组件，基于 Spark Core 进行构建，用于对流式进行处理，类似于 Storm。2、Spark Streaming 能够和 Spark Core、Spark SQL 来进行混合编程。3、Spark ...
分类：
其他好文 时间：
2020-05-29 19:33:56
阅读次数：
53
