记录下和kafka相关的Message、日志文件、索引文件、consumer记录消费的offset相关内容，文中很多理解参考文末博文、书籍还有前辈。 kafka中的消息 kafka中的消息Message，在V1版本中是如下部分组成，主要关系key和value。 （1）key：当需要将消息写入到某个t ...
分类：
其他好文 时间：
2020-03-22 01:01:11
阅读次数：
82
一、Bus简介 是什么： Spring Cloud Bus 使用轻量级的消息代理（目前只支持两种，RabbitMQ 和 Kafka）连接分布式系统的节点，这样就可以广播传播状态的更改（例如配置的更新）或者其他的管理指令。可将 Spring Cloud Bus 想象成一个分布式 Spring Boot ...
分类：
编程语言 时间：
2020-03-21 23:09:00
阅读次数：
81
架构层面做的强大，满足各个租户的自定义和系统集成。 中国呢，过去的3年已经证明面向中小企业、创业企业基本是不靠谱，所以从去年下半年，大家都纷纷杀入中大型企业、大型企业。这些中国企业，要么要求在他们的私有云中部署，要么要求在公有云为他们开辟一个专区专门独立部署，而且都要求和他们现有的内部ERP软件统一 ...
分类：
其他好文 时间：
2020-03-21 18:18:31
阅读次数：
63
C:\tools\kafka_2.12-2.4.1>zookeeper-server-start.bat config\zookeeper.properties C:\tools\kafka_2.12-2.4.1>kafka-server-start.bat config\server.proper ...
分类：
其他好文 时间：
2020-03-21 09:22:00
阅读次数：
54
记录下和kafka相关的概念原理以及常用工具，文中很多理解参考文末博文、书籍还有前辈。 kafka特性 kafka是由领英(LinkedIn)提供给Apache，是一个消息引擎，现在发展成为还可以进行流处理（kafka streams）的一个平台，以下是它的架构图。 （1）用的是发布 订阅模式，多个 ...
分类：
其他好文 时间：
2020-03-21 00:00:40
阅读次数：
74
下载地址 https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/ kafka同样依赖Java环境，由于和zookeeper在相同的机器上，之前已经安装过了，所有可以直接跳过Java环境安装 参考文档 https://www.cnblogs.com/pan... ...
分类：
其他好文 时间：
2020-03-20 17:02:29
阅读次数：
107
为什么需要学习Spring Cloud不论是商业应用还是用户应用，在业务初期都很简单，我们通常会把它实现为单体结构的应用。但是，随着业务逐渐发展，产品思想会变得越来越复杂，单体结构的应用也会越来越复杂。这就会给应用带来如下的几个问题： 代码结构混乱：业务复杂，导致代码量很大，管理会越来越困难。同时， ...
分类：
编程语言 时间：
2020-03-20 14:21:57
阅读次数：
88
kafka分区，excutor，task，RDD分区的关系： 数据的流：数据流向从kafka>sparkStreaming>RDD 1 kafka中的 topic 的 patition 分区的设置，kafka 的 partition 分区数 ，sparkStreaming 直连方式从kafka中拉数 ...
分类：
其他好文 时间：
2020-03-20 12:30:57
阅读次数：
108
kafka的基本概念 kafka是什么 ？ ? kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。 kafka扮演的三大角色 消息系统 ：kafka具备系统解耦、冗余存储、流 ...
分类：
其他好文 时间：
2020-03-20 10:47:33
阅读次数：
76
