Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sourc...
分类：
Web程序 时间：
2015-06-08 16:29:30
阅读次数：
161
Flume 基于Channel Selector可以实现扇入、扇出。同一个数据源分发到不同的目的，如下图。 在source上可以定义channel selector：123456789a1.sources=r1...a1.channels=c1 c2...a1.sources.r1.selector...
分类：
Web程序 时间：
2015-06-08 16:28:59
阅读次数：
123
Is Flume a good fit for your problem?If you need to ingest textual log data into Hadoop/HDFS then Flume is the right fit for your problem, full stop. ...
分类：
Web程序 时间：
2015-06-08 16:27:09
阅读次数：
194
Kafka版本是：kafka_2.10-0.8.2.11、maven工程方式在pom.xml中配置kafka依赖12345org.apache.kafkakafka_2.100.8.2.12、普通java工程方式依赖的jar包如下：
分类：
其他好文 时间：
2015-06-08 13:23:12
阅读次数：
126
使用java实现Kafka的生产者123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869pack...
分类：
编程语言 时间：
2015-06-08 13:16:42
阅读次数：
224
使用java实现Kafka的消费者1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071...
分类：
编程语言 时间：
2015-06-08 13:00:25
阅读次数：
257
三台机器：vm1、vm2、vm31、部署zookeeper集群假设已经有一个部署好了的zookeeper集群：zk1、zk2、zk32、下载、解压kafka1tar -xzvf kafka_2.10-0.8.2.1.tgz3、修改vm1上面的config/server.properties1234b...
分类：
其他好文 时间：
2015-06-08 12:58:45
阅读次数：
102
介绍Kafka是一个分布式的、分区的、冗余的日志提交服务。它使用了独特的设计，提供了所有消息传递系统所具有的功能。我们先来看下几个消息传递系统的术语：Kafka维护消息类别的东西是主题（topic）.我们称发布消息到Kafka主题的进程叫生产者（producer）.我们称订阅主题、获取消息的进程叫消...
分类：
其他好文 时间：
2015-06-08 12:58:20
阅读次数：
4461
Flume的一些组件（如Spooling Directory Source、File Channel）能够保证agent挂掉后不丢失数据。1、负载均衡1）LoadbalancingSinkProcessorsource里的event流经channel，进入sink组，在sink组内部根据负载算法（r...
分类：
Web程序 时间：
2015-06-07 18:52:57
阅读次数：
348
1.Kafka基本术语 Producer ：消息生产者，就是向kafka broker发消息的客户端 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：话题，可以理解为一个队列 Consumer Group （CG）：这是kafka用来实现...
分类：
其他好文 时间：
2015-06-07 01:08:37
阅读次数：
125
