1、安装zookeeper 因为zookeeper 与kafka 存在对应的版本，选择不当，将无法使用，所以两者都使用最新版本 下载地址：https://zookeeper.apache.org/releases.html 目录 下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和 ...
分类：
系统相关 时间：
2020-06-08 12:37:32
阅读次数：
82
我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex）。当然，如 ...
分类：
其他好文 时间：
2020-06-08 00:17:30
阅读次数：
63
概念 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 模型 a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink ...
分类：
Web程序 时间：
2020-06-07 21:04:35
阅读次数：
67
一、启动zookeeperzkServer.sh start 二、kafka操作//进入目录cd /software/kafka_2.11-2.4.1// (启动kafka)kafka-server-start.sh -daemon config/server.properties//创建分区kaf ...
分类：
其他好文 时间：
2020-06-06 11:04:34
阅读次数：
50
kafka的消费者 @ 内容大纲 深入学习kafka数据消费大致流程 创建并使用消费者 kafka消费者常用配置 1.重要概念 消费者和消费组 消费者负责订阅 Kafka 中的主题（Topic），并且从订阅的主题上拉取消息。 与其他一些消息中间件不同的是：在 Kafka 中还有一层消费组（Consu ...
分类：
其他好文 时间：
2020-06-05 21:25:49
阅读次数：
71
小灰工作3年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，小灰心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka，有哪种场景下需要使用 JMS，小灰一脸问号。工作几年来，接触了 Kafka，Elasticsea ...
分类：
其他好文 时间：
2020-06-05 13:10:08
阅读次数：
56
在 Elasticsearch、Kibana、Beats 安装 中讲到推荐架构： 本文基于 Logstash + Beats 读取 Spring Boot 日志 将其改为上述架构 如果没有安装 Kafka 需要首先安装：http://kafka.apache.org/quickstart ，如果需要 ...
分类：
其他好文 时间：
2020-06-05 13:04:50
阅读次数：
48
简介 WSO2MI（Micro Integrator）是一个事件驱动的企业服务总线（Enterprise Service Bus），支持消息路由、数据格式转换、通信协议转换，支持连接SAP、KAFKA、FTP、Restful API等。 数据格式，可支持xml、json、csv等等 通信协议，可支持 ...
分类：
其他好文 时间：
2020-06-05 00:55:55
阅读次数：
129
本教程演示了如何使用 Druid 的 Kafka indexing 服务从 Kafka 流中加载数据至 Druid。
分类：
其他好文 时间：
2020-06-05 00:53:38
阅读次数：
87
今天给大家分享一个大数据里面很火的技术——Kafka，Kafka是一个分布式的消息系统，其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码，个人感觉Kafka的源码质量是比较高的一个，如果有同学感兴趣的话，可以拿来阅读一下。网上也有不少的文章分析Kafka的性能为什么那么好，但是我感觉很多文章都没说到点上，所以今天借着这个机会跟大家交流一下kafka的性能为什么那么好？优秀设计之基于N
分类：
其他好文 时间：
2020-06-04 21:57:26
阅读次数：
100
