该包下只有一个文件：ClientUtils.scala。它是一个object，里面封装了各种client(包括producer，consumer或admin)可能会用到的方法：1. fetchTopicMetadata(producer版本)： producer client会调用该方法来发送一个T...
分类：
其他好文 时间：
2015-06-09 16:42:08
阅读次数：
211
顾名思义，就是kafka的consumer api包。一、ConsumerConfig.scalaKafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网。二、ConsumerIt...
分类：
其他好文 时间：
2015-06-09 15:44:20
阅读次数：
552
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。...
分类：
其他好文 时间：
2015-06-09 12:01:25
阅读次数：
124
1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录信息，但是，这样始终不够友好，而且，在实际开发中，我....
分类：
其他好文 时间：
2015-06-09 09:48:42
阅读次数：
172
Component InterfaceType AliasImplementation Classorg.apache.flume.Channelmemoryorg.apache.flume.channel.MemoryChannelorg.apache.flume.Channeljdbcorg.a...
分类：
Web程序 时间：
2015-06-08 16:41:40
阅读次数：
243
项目中使用log4j打印的内容同时传输到flume1、flume端flume的agent配置内容如下：12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sources.s1.channels=c1a1.sinks.k1....
分类：
移动开发 时间：
2015-06-08 16:40:25
阅读次数：
214
Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统（消息、主题）中读取数...
分类：
Web程序 时间：
2015-06-08 16:37:39
阅读次数：
270
Flume Source 实例Avro Source监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sourc...
分类：
Web程序 时间：
2015-06-08 16:29:30
阅读次数：
161
Flume 基于Channel Selector可以实现扇入、扇出。同一个数据源分发到不同的目的，如下图。 在source上可以定义channel selector：123456789a1.sources=r1...a1.channels=c1 c2...a1.sources.r1.selector...
分类：
Web程序 时间：
2015-06-08 16:28:59
阅读次数：
123
Is Flume a good fit for your problem?If you need to ingest textual log data into Hadoop/HDFS then Flume is the right fit for your problem, full stop. ...
分类：
Web程序 时间：
2015-06-08 16:27:09
阅读次数：
194
