查看kafka官网的userguide agent.sources = kafkaSource agent.channels = memoryChannel agent.sinks = hdfsSink agent.sources.kafkaSource.type = org.apache.flum ...
分类：
其他好文 时间：
2019-11-13 13:12:56
阅读次数：
101
zookeeper参照https://www.cnblogs.com/wintersoft/p/11128484.html mkdir /opt/kafka -pvim /opt/kafka/Dockerfile vim /opt/kafka/docker-compose.yml 生成启动cd /o ...
分类：
其他好文 时间：
2019-11-12 12:37:55
阅读次数：
96
1、概述 1.1、Apache Kafka是一个 分布式 流处理 平台； 2、Kafka适应于什么场景？ 2.1、构造 实时 流数据管道，在 系统 或 应用之间 可靠地获取数据（相当于message queue） 2.2、构建 实时 流式应用程序，对这些流数据进行转换或者影响（流处理，Kafka t ...
分类：
其他好文 时间：
2019-11-12 09:13:21
阅读次数：
84
最好用的 Kafka Json Logger Java客户端。 最好用的 Kafka Json Logger 库；不尝试一下可惜了！ Description 一款为 Kafka 提供的 json logger 客户端，支持将 json 格式的 log 输出到 kafka、文件、控制台。 支持 slf ...
分类：
编程语言 时间：
2019-11-12 00:35:07
阅读次数：
189
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 ...
分类：
其他好文 时间：
2019-11-11 21:47:16
阅读次数：
85
一、消息中间件相关知识 1、概述 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如老牌的ActiveMQ、RabbitMQ，炙手可热的Kafka，阿里巴巴自主开发Ro ...
分类：
其他好文 时间：
2019-11-11 18:44:26
阅读次数：
78
我们都知道Kafka非常快，比绝大多数的市场上其他消息中间件都要快。这里来研究下那么为什么Kafka那么快（当然不会是因为它用了Scala）。 Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间。 但是实际上，Kafka其中一个特性却是高吞吐率，即 ...
分类：
其他好文 时间：
2019-11-10 10:28:53
阅读次数：
93
Flink 读写Kafka 在Flink中，我们分别用Source Connectors代表连接数据源的连接器，用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。 Apache Kafka Sour ...
分类：
其他好文 时间：
2019-11-10 10:01:34
阅读次数：
116
虽然kafka集群部署的文章网络的到处都是，但是还是想把自己亲自操作的过程记录一下，同时也可以记录一下遇到的问题，避免以后部署的时候再遇到。 一、安装 1、下载，地址： https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.1 ...
分类：
其他好文 时间：
2019-11-10 09:44:02
阅读次数：
75
kafka bin/kafka-server-start.sh config/server.properties & Hbase bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver Hbase 默认端口 16 ...
分类：
其他好文 时间：
2019-11-09 13:47:12
阅读次数：
75
