Maven pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-in ...
分类:
编程语言 时间:
2020-06-01 16:56:16
阅读次数:
74
发送端的可选配置 acks acks 配置表示 producer 发送消息到 broker 上以后的确认值。有三个可选项 Ø 0:表示 producer 不需要等待 broker 的消息确认。这个选项时延最小但同时风险最大(因为当 server 宕机时,数据将会丢失)。 Ø 1:表示 produce ...
分类:
其他好文 时间:
2020-05-31 21:27:40
阅读次数:
48
前言 要了解生产者ISR,需要提前了解下生产者重试机制和应答机制 生产者重试机制 创建生产者时,可以指定retries参数,如果向broker发送消息时抛出异常,并且异常是可重试异常RetriableException,那么此时就会按照指定的次数进行重试 1、哪些情况下可以重试 (1)没有到deli ...
分类:
其他好文 时间:
2020-05-31 18:19:32
阅读次数:
105
引言 Kafka是一款很棒的消息系统,今天我们就来深入了解一下它的实现细节,首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer,需要有brokerIP、序列化器等必要Properties以及acks(0、1、n)、compression、retries、ba ...
分类:
其他好文 时间:
2020-05-30 21:48:33
阅读次数:
75
引言 Kafka是一款很棒的消息系统,今天我们就来深入了解一下它的实现细节,首先关注Producer这一方。 要使用kafka首先要实例化一个KafkaProducer,需要有brokerIP、序列化器等必要Properties以及acks(0、1、n)、compression、retries、ba ...
分类:
其他好文 时间:
2020-05-30 20:02:40
阅读次数:
60
第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。 在2009年Flume被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flum ...
分类:
Web程序 时间:
2020-05-30 19:56:36
阅读次数:
89
第1章 Kafka概述 1.1 消息队列 1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是 ...
分类:
其他好文 时间:
2020-05-30 19:39:36
阅读次数:
63
1.前言 分布式微服务想要热更新配置文件,还需要 消息中间件 配合使用 ,一般使用 rabbitMQ 或 Kafka ,这里不解释 。 这篇随笔 只讲解 底层的 单机热更新配置文件 2.环境 spring boot : 2.1.6.RELEASE spring cloud : Greenwich.S ...
分类:
编程语言 时间:
2020-05-29 23:10:27
阅读次数:
119
部署单机版的kafka消息队列,参考了网上很多的教程,发现网上的教程不是很详细,特别是kafak的配置文件相关的,于是自己搭建完成之后,重新整理并标注了配置文件。 ...
分类:
其他好文 时间:
2020-05-29 10:41:16
阅读次数:
58
Producerbehavior:Ifkafkabrokerisnotstarted,surprisingly,evenifspringcloudkafkastreamfailstocreateakafkaproducer,itwillnotfailfastandapplicationwillstartupasnormalandonlyanexceptionappearsonconsole.See
分类:
编程语言 时间:
2020-05-29 09:53:33
阅读次数:
74