kafa部署在k8s中，并且使用statefulset 方式部署，应用pod连接kafka 使用 kafka-0.kafka-hs.sy-platform-demo.svc.cluster.local.:9093， 如果k8s 外部开发测试，无法连接，所以需要外部网络与pod service网络打通 ...
分类：
其他好文 时间：
2020-04-14 12:28:52
阅读次数：
321
单纯做后端的话，可以用FastAPI框架 1.服务端主动给客户端推送消息 截至目前为止，我们所写的web项目基本都是基于HTTP协议的 HTTP协议有四大特性:无链接(我请求 你响应 我俩没关系了 直接断开链接) 基于HTTP协议实现服务端主动给客户端推送消息好像有点麻烦～～～ 我们都经历过，浏览器 ...
分类：
其他好文 时间：
2020-04-13 21:07:25
阅读次数：
95
.ssm整合redis 导入依赖 编写配置文件,修改配置文件的ip,和端口 让spring的配置文件加载redis的配置 就可以直接使用redis了.再代码的任意位置,注入RedisTemplate就ok 2.redis作为缓存思路 先从redis中查询有没有数据 如果redis中没有热点数据,就从 ...
分类：
其他好文 时间：
2020-04-13 10:29:17
阅读次数：
87
下载源码 git clone -b 1.1.1 https://github.com/apache/kafka.git --depth=1 使用这样的方式下载主要是解决两个问题：其一，下载指定分支代码，这样不用下载最新代码然后切换到具体的tags。其二，因源码太大而只下载最新的depth可以增快下载 ...
分类：
其他好文 时间：
2020-04-13 10:22:05
阅读次数：
81
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢 介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ 首先让我们看几个基本的消息系 ...
分类：
系统相关 时间：
2020-04-12 18:19:48
阅读次数：
73
kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
[toc] 一、kafka简介 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、H ...
分类：
系统相关 时间：
2020-04-12 14:23:35
阅读次数：
109
[toc] 一、Kafka、RabbitMQ、Redis消息中间件对比 在分布式系统中、消息中间件常用于系统间的数据交换, 按照实际业务需求场景以及运维成本，可以选择适合自己的产品. 二、相关概念介绍 Kafka 1.基于Pull的模式来处理消息消费 2.追求高吞吐量 3.一开始的目的就是日志收集和 ...
分类：
其他好文 时间：
2020-04-12 14:15:04
阅读次数：
78
之前参加 rocketmq 的 meetup，台上有人讲，kafka 不支持同步刷盘，当时没太在意，今天抽空看了下代码： kafka 提供了配置参数来支持同步刷盘，和 rocktmq 的做法不同（4.7 的 rmq 在 sync_disk 模式，统一在 GroupCommitService 中刷盘， ...
分类：
其他好文 时间：
2020-04-12 12:49:37
阅读次数：
211
记录下和kafka相关的语义、不重复消息、不丢失数据、分区有序的内容，文中很多理解参考文末博文、书籍还有某前辈。 kafka语义 kafka中有三种语义，它对理解下面的不重复消费有帮助。 最多一次（at most once）：消息最多被处理一次，可能有消息丢失的风险。 至少一次（at least o ...
分类：
其他好文 时间：
2020-04-10 22:53:46
阅读次数：
144
