来自：http://blog.csdn.net/beitiandijun/article/details/40582541来源：http://kafka.apache.org/documentation.html#configuration3. ConfigurationKafka在配置文件中使.....
分类：
其他好文 时间：
2015-06-10 20:44:09
阅读次数：
192
1. Flume：日志收集软件，里面的重要概念是agent，包括 source -> channel -> slink，sourc,slink 可以为hdfs,jdbc ... 一个简单的场景是用Flume监测一个文件夹fdir的数据变化，这时fdir就是source，并将变化传送到hdfs_pat...
分类：
其他好文 时间：
2015-06-10 15:27:14
阅读次数：
141
Kafka实战－KafkaOffsetMonitor1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录....
分类：
其他好文 时间：
2015-06-09 23:25:42
阅读次数：
164
该包下只有一个文件：ClientUtils.scala。它是一个object，里面封装了各种client(包括producer，consumer或admin)可能会用到的方法：1. fetchTopicMetadata(producer版本)： producer client会调用该方法来发送一个T...
分类：
其他好文 时间：
2015-06-09 16:42:08
阅读次数：
211
顾名思义，就是kafka的consumer api包。一、ConsumerConfig.scalaKafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网。二、ConsumerIt...
分类：
其他好文 时间：
2015-06-09 15:44:20
阅读次数：
552
本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Replication相关的工具，如重新分配Partition等。...
分类：
其他好文 时间：
2015-06-09 12:01:25
阅读次数：
124
1.概述 前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录信息，但是，这样始终不够友好，而且，在实际开发中，我....
分类：
其他好文 时间：
2015-06-09 09:48:42
阅读次数：
172
Component InterfaceType AliasImplementation Classorg.apache.flume.Channelmemoryorg.apache.flume.channel.MemoryChannelorg.apache.flume.Channeljdbcorg.a...
分类：
Web程序 时间：
2015-06-08 16:41:40
阅读次数：
243
项目中使用log4j打印的内容同时传输到flume1、flume端flume的agent配置内容如下：12345678910111213141516a1.sources=s1a1.sinks=k1a1.channels=c1 a1.sources.s1.channels=c1a1.sinks.k1....
分类：
移动开发 时间：
2015-06-08 16:40:25
阅读次数：
214
Flume SourceSource类型说明Avro Source支持Avro协议（实际上是Avro RPC），内置支持Thrift Source支持Thrift协议，内置支持Exec Source基于Unix的command在标准输出上生产数据JMS Source从JMS系统（消息、主题）中读取数...
分类：
Web程序 时间：
2015-06-08 16:37:39
阅读次数：
270
