小灰工作3年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，小灰心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka，有哪种场景下需要使用 JMS，小灰一脸问号。工作几年来，接触了 Kafka，Elasticsea ...
分类：
其他好文 时间：
2020-06-05 13:10:08
阅读次数：
56
在 Elasticsearch、Kibana、Beats 安装 中讲到推荐架构： 本文基于 Logstash + Beats 读取 Spring Boot 日志 将其改为上述架构 如果没有安装 Kafka 需要首先安装：http://kafka.apache.org/quickstart ，如果需要 ...
分类：
其他好文 时间：
2020-06-05 13:04:50
阅读次数：
48
简介 WSO2MI（Micro Integrator）是一个事件驱动的企业服务总线（Enterprise Service Bus），支持消息路由、数据格式转换、通信协议转换，支持连接SAP、KAFKA、FTP、Restful API等。 数据格式，可支持xml、json、csv等等 通信协议，可支持 ...
分类：
其他好文 时间：
2020-06-05 00:55:55
阅读次数：
129
本教程演示了如何使用 Druid 的 Kafka indexing 服务从 Kafka 流中加载数据至 Druid。
分类：
其他好文 时间：
2020-06-05 00:53:38
阅读次数：
87
今天给大家分享一个大数据里面很火的技术——Kafka，Kafka是一个分布式的消息系统，其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码，个人感觉Kafka的源码质量是比较高的一个，如果有同学感兴趣的话，可以拿来阅读一下。网上也有不少的文章分析Kafka的性能为什么那么好，但是我感觉很多文章都没说到点上，所以今天借着这个机会跟大家交流一下kafka的性能为什么那么好？优秀设计之基于N
分类：
其他好文 时间：
2020-06-04 21:57:26
阅读次数：
100
kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同 ...
分类：
其他好文 时间：
2020-06-04 20:10:00
阅读次数：
56
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统，目前则演变成了一个成熟的分布式消息引擎，以及流处理平台。 Kafka 主要起到削峰 ...
分类：
其他好文 时间：
2020-06-04 19:38:12
阅读次数：
162
Kafka是一个高吞吐量的分布式的发布订阅消息系统，在全世界都很流行，在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码，感觉Kafka的源码是其中质量比较上乘的一个，这得益于作者高超的编码水平和高超的架构设计能力。Kafka的核心源码分为两部分：客户端源码和服务端源码，客户端又分为生产者和消费者，而个人认为Kafka的源码里面生产者的源码技术含量最高，所以今天给大家剖析Kafka的生
分类：
其他好文 时间：
2020-06-04 01:31:44
阅读次数：
50
1.常见的我们是进入它的消费者模式 , 在里面输入 , 但是如何封装到shell中 kafka-console-producer.sh --broker-list node1:9092 --topic sky 比如我只想把 hello 这条消息发送到Topic sky里面 echo "hello" ...
分类：
系统相关 时间：
2020-06-03 23:08:22
阅读次数：
153
Kafka 是一个高吞吐量的分布式的发布订阅消息系统，在全世界都很流行，在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码，感觉 Kafka 的源码是其中质量比较上乘的一个，这得益于作者高超的编码水平和高超的架构设计能力。 Kafka 的核心源码分为两部分：客户端源码和服务端源码，客户端 ...
分类：
其他好文 时间：
2020-06-03 17:29:19
阅读次数：
68
