概览
flume-ng中最重要的核心三大组件就是source,channel,sink
source负责从源端收集数据
channel负责暂存收集来的数据，以备下游取走消费
sink负责消费通道中的数据，写到最终的输出端上
以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：
1、Source
source接口的定义如下：
@Inte...
分类：
Web程序 时间：
2015-01-30 17:45:41
阅读次数：
1035
在flume1.5.2中，如果想要通过http方式的监控来获取flume相关度量值，通过在启动脚本后添加如下内容即可：
-Dflume.monitoring.type=http -Dflume.monitoring.port=34545
监控
-D的属性可以通过System.getProerties()直接获取得到，那么以上两个属性是通过方法loadMonitoring()来读取，该方法...
分类：
Web程序 时间：
2015-01-29 17:38:20
阅读次数：
321
本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下：
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%m/%d...
分类：
Web程序 时间：
2015-01-28 18:00:15
阅读次数：
1115
Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现...
分类：
其他好文 时间：
2015-01-26 12:02:24
阅读次数：
908
定义系统默认的日志收集还算EASY。但如何在公司项目里要配置程序员们写的自定义日志，那可能就要用到LOCAL及FILTER过滤这些东东了。。。慢慢走吧。。收集URL备用，都是讲LOCAL,TEMPLAT,FILTER比较好的CASE：http://blog.sina.com.cn/s/blog_4a...
分类：
其他好文 时间：
2015-01-26 00:02:05
阅读次数：
2414
单节点安装:
Ip:single:192.168.1.186
1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包
2.解压
[root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/
3.进入解压目录
[root@sing...
分类：
其他好文 时间：
2015-01-25 15:18:05
阅读次数：
260
搞了我半小个时查找资料。。最后，在一个官方文档中找到他。。。http://www.rsyslog.com/doc/ommysql.htmlSample:The following sample writes all syslog messages to the database "syslog_db...
分类：
数据库 时间：
2015-01-25 11:02:35
阅读次数：
183
hello flume (Ubuntu 下 flume1.5单机版安装以及简单入门示例)...
分类：
Web程序 时间：
2015-01-22 13:20:37
阅读次数：
137
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据，为了提高开发效率，直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码，记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类：
Web程序 时间：
2015-01-22 12:47:14
阅读次数：
496
