在flume1.5.2中,如果想要通过http方式的监控来获取flume相关度量值,通过在启动脚本后添加如下内容即可:
-Dflume.monitoring.type=http -Dflume.monitoring.port=34545
监控
-D的属性可以通过System.getProerties()直接获取得到,那么以上两个属性是通过方法loadMonitoring()来读取,该方法...
分类:
Web程序 时间:
2015-01-29 17:38:20
阅读次数:
321
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下:
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%m/%d...
分类:
Web程序 时间:
2015-01-28 18:00:15
阅读次数:
1115
Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现...
分类:
其他好文 时间:
2015-01-26 12:02:24
阅读次数:
908
单节点安装:
Ip:single:192.168.1.186
1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包
2.解压
[root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/
3.进入解压目录
[root@sing...
分类:
其他好文 时间:
2015-01-25 15:18:05
阅读次数:
260
hello flume (Ubuntu 下 flume1.5单机版安装以及简单入门示例)...
分类:
Web程序 时间:
2015-01-22 13:20:37
阅读次数:
137
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据,为了提高开发效率,直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码,记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类:
Web程序 时间:
2015-01-22 12:47:14
阅读次数:
496
Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例...
分类:
其他好文 时间:
2015-01-22 11:08:23
阅读次数:
183
大家在启动flume的时候,输入的命令就可以看出flume的启动入口了
[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1
Info: Sourcing environment configuration script /home/flume/apache-flu...
分类:
移动开发 时间:
2015-01-21 18:22:15
阅读次数:
330
Kafka的Log存储解析
标签(空格分隔): kafka
引言
Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和partit...
分类:
其他好文 时间:
2015-01-21 18:16:35
阅读次数:
189