工作方式 Flume-og采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使 ...
分类：
Web程序 时间：
2020-01-20 14:26:47
阅读次数：
98
项目场景： 从kafka消费N条数据，每条带有一个id，从表A中查出这N个id对应的N条记录，继续做其他业务 翻译：select * from A where id in("1","2","3","4","5",..............) 这里的id是一个字符串，非数值型，N是一个可配的（比如我 ...
分类：
其他好文 时间：
2020-01-19 17:47:46
阅读次数：
96
Flume高可用集群 工欲善其事，必先利其器。感谢以下博主：https://www.cnblogs.com/qingyunzong/p/8994494.htmlhttps://blog.csdn.net/peng_0129/article/details/80793440https://blog.c ...
分类：
Web程序 时间：
2020-01-19 15:25:17
阅读次数：
128
在实际开发过程中，服务与服务之间通信经常会使用到消息中间件，而以往使用了中间件比如RabbitMQ，那么该中间件和系统的耦合性就会非常高，如果我们要替换为Kafka那么变动会比较大，这时我们可以使用SpringCloudStream来整合我们的消息中间件，来降低系统和中间件的耦合性。 一、消息中间的 ...
分类：
编程语言 时间：
2020-01-18 18:04:50
阅读次数：
252
一、下载安装 1、下载地址 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.4.0/kafka_2.13-2.4.0.tgz 下载命令：wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/ ...
分类：
其他好文 时间：
2020-01-17 19:16:35
阅读次数：
301
Flume： Flume是一种分布式的、可靠的、可用的服务，可以有效地收集、聚合和移动大量的日志数据。 它有一个基于流数据的简单而灵活的体系结构。 它具有健壮性和容错能力，具有可调的可靠性机制和许多故障转移和恢复机制。 它使用一个简单的可扩展数据模型，允许在线分析应用程序。 source：源 对ch ...
分类：
Web程序 时间：
2020-01-17 11:36:35
阅读次数：
104
Pulsar:采取了存储计算分离的技术ZooKeeper 集群的作用和在 Kafka 中是一样的，都是被用来存储元数据。BookKeeper 集群则被用来存储消息数据。BookKeeper 有点儿类似 HDFS，是一个分布式的存储集群，存储单元是ledger，Ledger可以简单的理解为某个主题队列 ...
分类：
其他好文 时间：
2020-01-16 19:08:16
阅读次数：
120
1.Kafka入门教程 1.1 消息队列（Message Queue) Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。 JMS（Java Messaging ...
分类：
其他好文 时间：
2020-01-16 14:18:32
阅读次数：
295
什么是kafkaKafka官网自己的介绍是：一个可支持分布式的流平台。kafka官网介绍kafka三个关键能力：1.发布订阅记录流，类似于消息队列与企业信息系统2.以容错的持久方式存储记录流3.对流进行处理kafka通常应用再两大类应用中：1.构建实时流数据管道，在系统或应用程序之间可靠地获取数据2.构建转换或响应数据流的实时流应用程序kafka的一些基本概念：1.Kafka作为一个集群运行在一个
分类：
其他好文 时间：
2020-01-15 19:09:18
阅读次数：
241
本文是根据平时面试以及网上资源进行的整理。希望对小伙伴们面试有帮助。 消息队列的作用和使用场景 通过异步处理提高响应时间，削峰填谷： 场景：数据比较集中且实时要求不是太高，如果同步处理，假如业务高峰需要4台服务支撑，那么在业务高峰过了之后，就会出现资源闲置，如果引入消息队列的话，将数据放到消息队列后 ...
分类：
其他好文 时间：
2020-01-14 23:30:17
阅读次数：
276
