prerequisite: JMX http://www.cnblogs.com/itech/archive/2010/09/16/1827999.html http://download.oracle.com/technetwork/java/javase/6/docs/zh/api/java/l...
分类：
Web程序 时间：
2015-02-16 18:07:02
阅读次数：
331
Flume架构主要由3个组件，分别是Source，Channel和Sink，3个组件组成Event在Flume中得数据流向或者说流水线，功能可以由Flume的介绍看出：When a Flume source receives an event, it stores it into one or mo...
分类：
Web程序 时间：
2015-02-15 19:21:33
阅读次数：
320
主要涉及到的类：SpoolDirectorySource 读取用户配置，并按照batchSize去读取这么多量的Event从用户指定的Spooling Dir中。SpoolDirectorySource 不会去读取某一个具体的文件，而是通过内部的reader去读取。文件切换等操作，都是reader去...
分类：
Web程序 时间：
2015-02-12 17:49:29
阅读次数：
284
前言
首先来看一下flume官网中对Event的定义
一行文本内容会被反序列化成一个event【序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地存储和传输数据】，event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8，这都是统一的。
但是这个解释是针对Avr...
分类：
Web程序 时间：
2015-02-12 14:05:20
阅读次数：
196
图示
如上图所示红框部分，本人在做稳定性测试的时候，当flume运行几天后，我发现这个counter值逐渐变大，到一定值后，又变小了，有一个循环的过程，故而对此产生研究的欲望，下面来看看：
if (txnEventCount == 0) {
sinkCounter.incrementBatchEmptyCount();
} else if (txnEvent...
分类：
编程语言 时间：
2015-02-12 10:52:27
阅读次数：
1233
KAFKA安装和使用
WINDOWS:
准备软件：kafka_2.11-0.8.2.0.tgz
安装步骤：
1. 创建目录D:\kafka，将kafka_2.11-0.8.2.0.tgz解压到该目录下，解压两份，并重命名为kafka1和kafka2.并在这两个目录下创建文件kafka1/log/logs,
kafka2/log/logs
2. 在D:\kaf...
分类：
其他好文 时间：
2015-02-11 14:43:39
阅读次数：
688
这里就简单贴个配置吧，有问题欢迎留言探讨
sink的配置
##############################define [sink] begin##############################
#define the sink k1
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLoca...
分类：
Web程序 时间：
2015-02-11 10:58:51
阅读次数：
212
分布式发布订阅消息系统 Kafka 架构设计转自：http://www.oschina.net/translate/kafka-design我们为什么要搭建该系统Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（p...
分类：
其他好文 时间：
2015-02-11 10:49:57
阅读次数：
353
KAFKA分布式消息系统转自：http://blog.chinaunix.net/uid-20196318-id-2420884.htmlKafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击...
分类：
其他好文 时间：
2015-02-11 10:45:49
阅读次数：
160
