文章目录 一、 Producer端重试 二、 Consumer端重试 1. Exception 2. Timeout总结 对于MQ，可能存在各种异常情况，导致消息无法最终被Consumer消费掉，因此就有了消息失败重试机制。很显示，消息重试分为2种：Producer端重试和Consumer端重试。 ...
分类：
其他好文 时间：
2020-01-15 19:11:14
阅读次数：
95
什么是kafkaKafka官网自己的介绍是：一个可支持分布式的流平台。kafka官网介绍kafka三个关键能力：1.发布订阅记录流，类似于消息队列与企业信息系统2.以容错的持久方式存储记录流3.对流进行处理kafka通常应用再两大类应用中：1.构建实时流数据管道，在系统或应用程序之间可靠地获取数据2.构建转换或响应数据流的实时流应用程序kafka的一些基本概念：1.Kafka作为一个集群运行在一个
分类：
其他好文 时间：
2020-01-15 19:09:18
阅读次数：
241
本文是根据平时面试以及网上资源进行的整理。希望对小伙伴们面试有帮助。 消息队列的作用和使用场景 通过异步处理提高响应时间，削峰填谷： 场景：数据比较集中且实时要求不是太高，如果同步处理，假如业务高峰需要4台服务支撑，那么在业务高峰过了之后，就会出现资源闲置，如果引入消息队列的话，将数据放到消息队列后 ...
分类：
其他好文 时间：
2020-01-14 23:30:17
阅读次数：
276
kafka 相关的知识进入 /usr/local/kafka 目录下查看端口 vim zookeeper.properties #文件中dataDir=/tmp/zookeeper代表zookeeper数据存储路径，clientPort=2182代表zookeeper的端口号为：2182，消费者需要 ...
分类：
其他好文 时间：
2020-01-13 20:22:45
阅读次数：
124
Kafka: https://mp.weixin.qq.com/s/lXds_G5LLs7CArMLyTAF6g 为什么每一个爬虫工程师都应该学习 Kafka : https://mp.weixin.qq.com/s/NtBPMRhmtcI3JgMQ5oqaVQ 真的，关于 Kafka 入门看这一篇 ...
分类：
其他好文 时间：
2020-01-13 18:16:07
阅读次数：
81
大数据相关资料 课程环境 Virtual Box 4.1安装 1、使用课程提供的Virtual Box安装包，一步一步安装即可。Oracle_VM_VirtualBox_Extension_Pack-4.1.40-101594.vbox-extpack。2、之所以选用Virtual Box是因为它比 ...
分类：
系统相关 时间：
2020-01-13 18:05:58
阅读次数：
106
KafkaConfig.java package com.niugang.config; import java.util.HashMap; import java.util.Map; import org.apache.kafka.clients.consumer.ConsumerConfig; ...
分类：
编程语言 时间：
2020-01-13 14:33:55
阅读次数：
107
启停 （下面操作，都已配置环境变量） 1. 先启动zookeeper 2. 启动kafka 3. 关闭kafka topic 创建一个topic topic的分区会被创建在当前主机，每个分区的副本会分配到集群的其他机器； 比如下面例子： 在master上创建了两个分区：first 0、first 1 ...
分类：
其他好文 时间：
2020-01-13 13:07:00
阅读次数：
72
ack应答机制 有三个值： 0：producer不需要确认消息，直接发送消息给leader，有没有收到消息，producer不管； 上图中去掉5、6步；速度块，安全性最低（当broker故障，会 丢失数据 ）。 1：producer发送消息，确保leader写入成功，followers不管；上图中， ...
分类：
其他好文 时间：
2020-01-13 12:54:21
阅读次数：
496
