在上一篇中我们主要介绍如何在Asp.Net Core中同步Kafka消息，通过上一篇的操作我们发现上面一篇中介绍的只能够进行简单的首发kafka消息并不能够消息重发、重复消费、乐观锁冲突等问题，这些问题在实际的生产环境中是非常要命的，如果在消息的消费方没有做好必须的幂等性操作，那么消费者重复消费的问 ...
分类：
Web程序 时间：
2019-12-14 13:49:48
阅读次数：
433
kafka消费过程难免会遇到需要重新消费的场景，例如我们消费到kafka数据之后需要进行存库操作，若某一时刻数据库down了，导致kafka消费的数据无法入库，为了弥补数据库down期间的数据损失，有一种做法我们可以指定kafka消费者的offset到之前某一时间的数值，然后重新进行消费。 ...
分类：
编程语言 时间：
2019-12-14 11:48:43
阅读次数：
221
Docker快速安装kafka | 沈健的技术博客 盒子 盒子 博客 ... ...
分类：
其他好文 时间：
2019-12-14 10:01:51
阅读次数：
88
1.概述最近和一些同学交流的时候反馈说，在面试Kafka时，被问到Kafka组件组成部分、API使用、Consumer和Producer原理及作用等问题都能详细作答。但是，问到一个平时不注意的问题，就是Kafka的幂等性，被卡主了。那么，今天笔者就为大家来剖析一下Kafka的幂等性原理及实现。2.内容2.1Kafka为啥需要幂等性？Producer在生产发送消息时，难免会重复发送消息。Produc
分类：
其他好文 时间：
2019-12-13 23:49:36
阅读次数：
167
1、实战 <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artif ...
分类：
编程语言 时间：
2019-12-13 09:36:27
阅读次数：
119
基础环境 CentOS-7-x86_64-DVD-1908 1.安装配置jdk下载安装包并解压配置环境变量jdk-8u231-linux-x64.tar.gz配置环境变量修改文件vi /etc/profile尾部添加export JAVA_HOME=/gcl/jdk1.8.0_231export J ...
分类：
其他好文 时间：
2019-12-12 19:54:29
阅读次数：
150
启动kafka正常 1.创建一个spring boot项目 2.配置使用kafka 引入依赖（gradle） implementation 'org.springframework.kafka:spring-kafka' 添加配置文件（全部使用java配置） KafkaConfig.java @Co ...
分类：
编程语言 时间：
2019-12-12 19:44:40
阅读次数：
113
1.概述本篇文章会尽力全面的介绍RocketMQ和Kafka各个关键点的比较，希望大家读完能有所收获。RocketMQ前身叫做MetaQ,在MeataQ发布3.0版本的时候改名为RocketMQ，其本质上的设计思路和Kafka类似，但是和Kafka不同的是其使用Java进行开发，由于在国内的Java受众群体远远多于Scala，所以RocketMQ是很多以Java语言为主的公司的首选。同样的Rock
分类：
其他好文 时间：
2019-12-12 16:37:11
阅读次数：
148
一、Kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统可以发布大量的消息，同时也能实时订阅消费消息。Kafka可以同时满足在线实时处理和批量离线处理。 在公司的大数据生态系统中，可以把Kafka作为数据交换枢纽，不同类型的分布式系统（关系数据库、NoSQL数据库 ...
分类：
其他好文 时间：
2019-12-12 13:28:15
阅读次数：
155
今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份 首先必须明确的是，Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的，而这个问题其实是问的是： ...
分类：
其他好文 时间：
2019-12-11 21:35:51
阅读次数：
351
