1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、Flume体系结构 ...
分类：
Web程序 时间：
2020-02-13 12:37:38
阅读次数：
78
使用 netcat 数据源测试 Flume 请对 Flume 的相关配置文件进行设置，从而可以实现如下功能：在一个 Linux 终端（这 里称为“Flume 终端”）中，启动 Flume，在另一个终端（这里称为“Telnet 终端”）中， 输入命令“telnet localhost 44444”，然 ...
分类：
Web程序 时间：
2020-02-12 23:59:56
阅读次数：
248
对于Kafka与RabbitMQ、ActiveMQ协议，它们具体的区别如下：activemq： activemq支持主从复制、集群。但是集群功能看起来很弱，只有failover功能，即我连一个失败了，可以切换到其他的broker上。这一点貌似不太科学。假设有三个broker，其中一个上面没有cons ...
分类：
其他好文 时间：
2020-02-12 11:22:54
阅读次数：
68
一、认识RabbitMQ及用途MessageQueue(MQ)相对于一些大点的公司都会使用这个MQ，比如像kafka,rabbitmq,activeMQ,rocketMQ主要用于系统与系统之间，或者程序与程序之间进行数据的传递，那么作为消息中间件，我们可以将它作为消息代理服务器，最主要的就是作用就是系统之间的信息进行”结藕“，MQ是数据可靠性的重要保障。那么说起mq的作用之前呢，比如我们以前会遇到
分类：
其他好文 时间：
2020-02-11 09:23:18
阅读次数：
53
server.properties配置文件参数说明 必配置属性 每个kafka broker中配置文件server.properties默认必须配置的属性如下： broker.id=0 num.network.threads=2 num.io.threads=8 socket.send.buffer ...
分类：
其他好文 时间：
2020-02-10 14:09:03
阅读次数：
115
Kafka是由Apache软件基金会开发的一个高吞吐量的分布式发布订阅消息系统，由Scala和Java编写。官网地址：http://kafka.apache.org 0.基本概念 Broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker。 Topic：每条发布到Kafka集群的 ...
分类：
其他好文 时间：
2020-02-10 13:37:49
阅读次数：
83
"offset" "topic" "consumer group" "consumer" "producer" "producer golang" topic 工具 "https://cwiki.apache.org/confluence/display/KAFKA/Replication+tool ...
分类：
其他好文 时间：
2020-02-09 18:42:32
阅读次数：
243
rabbitmq在centos 6/7下的安装请参考：https://www.cnblogs.com/zhjh256/p/10469732.html 由于rabbitmq不支持区分消费者组和消费者，因此建议使用kafka。 ...
分类：
编程语言 时间：
2020-02-09 16:26:16
阅读次数：
45
问题导读 Apache Kafka在全球各个领域各大公司获得广泛使用，得益于它强大的功能和不断完善的生态。其中Kafka动态配置是一个比较高频好用的功能，下面我们就来一探究竟。 动态配置是如何设计的？ 动态配置优先级是怎样的？ Broker初始化是如何读取配置的？ 动态配置支持哪些特性功能？ 动态配 ...
分类：
其他好文 时间：
2020-02-08 00:05:05
阅读次数：
80
.NET VS工具添加程序包源 在NuGet包管理中选择程序包源为上面添加的私有仓库。 搜索Data.Pipelines并安装。 在app.congif或者web.config中添加Kafka配置 <appSettings> <add key="kafka.ip" value="172.20.105 ...
分类：
Web程序 时间：
2020-02-07 22:23:20
阅读次数：
114
