码迷,mamicode.com
首页 >  
搜索关键字:flume kafka topic覆盖    ( 5097个结果
【Flume】flume中http监控类型的源码分析,度量信息分析,以及flume的事件总线
在flume1.5.2中,如果想要通过http方式的监控来获取flume相关度量值,通过在启动脚本后添加如下内容即可: -Dflume.monitoring.type=http -Dflume.monitoring.port=34545 监控 -D的属性可以通过System.getProerties()直接获取得到,那么以上两个属性是通过方法loadMonitoring()来读取,该方法...
分类:Web程序   时间:2015-01-29 17:38:20    阅读次数:321
【Flume】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1.hdfs.useLocalTimeStamp=true a1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%m/%d...
分类:Web程序   时间:2015-01-28 18:00:15    阅读次数:1115
kafka 安装
分类:其他好文   时间:2015-01-26 16:28:13    阅读次数:125
Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现
Storm-Kafka模块之写入kafka-KafkaBolt的使用及实现...
分类:其他好文   时间:2015-01-26 12:02:24    阅读次数:908
简洁的kafka单节点和分布式安装文档
单节点安装: Ip:single:192.168.1.186 1.下载:http://kafka.apache.org/downloads.html 下载源码或者对应scala版本的bin包   2.解压 [root@single cloud]# tar -zxvf kafka_2.10-0.8.2-beta.tgz -C /cloud/   3.进入解压目录 [root@sing...
分类:其他好文   时间:2015-01-25 15:18:05    阅读次数:260
hello flume (Ubuntu 下 flume1.5单机版安装以及简单入门示例)
hello flume (Ubuntu 下 flume1.5单机版安装以及简单入门示例)...
分类:Web程序   时间:2015-01-22 13:20:37    阅读次数:137
KafkaSpout 浅析
最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据,为了提高开发效率,直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码,记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类:Web程序   时间:2015-01-22 12:47:14    阅读次数:496
Storm-Kafka模块常用接口分析及使用方式
Storm-Kafka模块常用接口分析及使用方式,给出具体使用案例...
分类:其他好文   时间:2015-01-22 11:08:23    阅读次数:183
【Flume】从入口Application来分析flume的source和sink是如何与channel交互的
大家在启动flume的时候,输入的命令就可以看出flume的启动入口了 [root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1 Info: Sourcing environment configuration script /home/flume/apache-flu...
分类:移动开发   时间:2015-01-21 18:22:15    阅读次数:330
Kafka的Log存储解析
Kafka的Log存储解析 标签(空格分隔): kafka 引言 Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和partit...
分类:其他好文   时间:2015-01-21 18:16:35    阅读次数:189
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!