为什么使用spring stream ? spring stream 是用来做消息队列发送消息使用的。他隔离了各种消息队列的区别，使用统一的编程模型来发送消息。 目前支持： rabbitmq kafka rocketmq 启动rocketmq rocketmq 支持windows start mqn ...
分类：
编程语言 时间：
2020-05-06 18:05:55
阅读次数：
77
ELK架构日志处理逻辑：1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费3、Logstash根据脚本自动生成input及output配置这里的topic一定和filebeat的chan
分类：
其他好文 时间：
2020-05-05 21:56:19
阅读次数：
81
Kafka适合离线和在线的消息消费,其消息保存在磁盘上。 Kafka以Topic为单位进行消息的归纳,Producers向Topic发送(Push)消息,Consumers会消费(Pull)预订了Topic的消息。 基本概念 消息队列中的基本概念尤为重要,当对基本概念有了深入的理解之后,消息队列的原 ...
分类：
其他好文 时间：
2020-05-05 20:05:38
阅读次数：
70
1 package com.bawei.stream 2 3 import org.apache.kafka.clients.consumer.ConsumerRecord 4 import org.apache.kafka.common.serialization.StringDeserializ ...
分类：
其他好文 时间：
2020-05-05 17:51:00
阅读次数：
59
1 package com.bawei.review01 2 3 import java.net.InetSocketAddress 4 5 import org.apache.kafka.clients.consumer.ConsumerRecord 6 import org.apache.kaf ...
分类：
其他好文 时间：
2020-05-05 17:47:17
阅读次数：
55
架构图 说明： 1.logic启动http服务器， 接受http请求，用于将数据推送到kafka以及获取在线用户信息，websocket身份校验 2.comet组件起动webdocket/tcp服务， 管理连接， 并负责将数据推送至指定连接 3. job组件订阅指定kafka指定频道的消息信息, 开 ...
分类：
其他好文 时间：
2020-05-05 12:46:53
阅读次数：
1044
一，latest和earliest区别 1，earliest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，从头开始消费 2，latest 当各分区下有已提交的offset时，从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据 ...
分类：
其他好文 时间：
2020-05-04 17:37:47
阅读次数：
84
背景 在介绍整个原理和代码之前，我们来交代一下整个过程的背景，我们的系统作为一个下游的DMS系统，需要每天定期读取第三方接口传入数据，由于第三方接口每天传入的数据有上百万条主机厂备件库存数据，之前通过Kafka消息接口进行传输的话效率低、速度慢而且容易出错，所以后面和第三方统一意见采用FTP方式进行 ...
分类：
数据库 时间：
2020-05-04 13:23:58
阅读次数：
82
如何将这么大的数据量均匀地分配到 Kafka 的各个 Broker 上，就成为一个非常重要的问题 为什么分区？ Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器 而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息 主题下的每 ...
分类：
其他好文 时间：
2020-05-03 14:35:58
阅读次数：
72
下半部分主要是 Topic 级别参数、JVM 参数以及操作系统参数的设置 正确设置这些参数是搭建高性能 Kafka 集群的关键因素 Topic 级别参数 如果同时设置了 Topic 级别参数和全局 Broker 参数 答案就是 Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topi ...
分类：
其他好文 时间：
2020-05-03 14:18:46
阅读次数：
61
