说明：该结果是亲自测试，只提供简单的数据分析，很简陋，结果可能不准确。先说一下结果，多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，..
分类：
Web程序 时间：
2015-10-15 18:51:18
阅读次数：
260
hbase ganglia 显示器hbase 构造hadoop-metrics2-hbase.properties *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink....
分类：
其他好文 时间：
2015-09-25 21:42:23
阅读次数：
230
sink写入到rabbitmq的实例 package?org.apache.flume;
import?org.apache.flume.conf.Configurable;
import?org.apache.flume.sink.AbstractSink;
import?org.slf4j.Logger;
import?org.slf4j.LoggerFactory...
分类：
Web程序 时间：
2015-09-25 11:30:11
阅读次数：
340
在flume中原有的sink的hdfs接口中只有根据写入多少秒存储关闭文档或者写入多少量存储关闭文档,饼不能根据实际需求来关闭文档,所以需要自己改写代码来满足我们的要求.例如我们需要他在每天到了0点以后关闭上一日的文档,并在写一个新的文档出来,首先我找到源码在flume的源码中一..
分类：
Web程序 时间：
2015-09-09 19:47:15
阅读次数：
499
开一个监听持续间断的获取某个日志的续写的信息,并传入sink中,在flume默认的组建中并没用这样的功能,只能自己根据业务就行开发,下面flume获得source信息概要:首先我们在获得持续输出的日志并创建一个文件中记录我们获取这个日志的信息变化的位置,根据这个位置文件来完成,我们需..
分类：
Web程序 时间：
2015-09-09 19:47:11
阅读次数：
214
续上面获得资源后我们要将转换为相应的日志,落在统一的服务器中.在flume中的对file操作的sink只有RollingFileSink但这个对我们来一点用都没有,packagecom.ule.flume.sink.file;
importjava.io.BufferedOutputStream;
importjava.io.File;
importjava.io.FileOutputStream;
imp..
分类：
Web程序 时间：
2015-09-09 19:44:35
阅读次数：
191
一个内存泄漏引发的血案-Square
原文链接 : A small leak will sink a great ship
原文作者 : Pierre-Yves Ricau
译文出自 : 开发技术前线 www.devtf.cn。未经允许，不得转载!
译者 : chaossss
校对者: 这里校对者的github用户名
状态 : 完成
在开发 LeakCa...
分类：
其他好文 时间：
2015-09-05 11:15:24
阅读次数：
386
这个文档是?Cloudera Distribution of Apache Kafka?1.3.x. 其他版本的文档在Cloudera Documentation. Using Kafka with Flume 在CDH 5.2.0 及更高的版本中, Flume 包含一个Kafka source and sink。使用它们可以...
分类：
Web程序 时间：
2015-08-29 17:21:58
阅读次数：
338
在前面的几节讨论里我们终于得出了一个概括又通用的IO Process类型Process[F[_],O]。这个类型同时可以代表数据源（Source）和数据终端（Sink）。在这节讨论里我们将针对Process[F,O]的特性通过一些应用实例来示范它的组合性（composibility）和由数据源到接收终端IO全过程的功能完整性。
我们已经在前面的讨论中对IO Process的各种函数组合进行了...
分类：
其他好文 时间：
2015-08-26 22:29:26
阅读次数：
234
在前面的几节讨论里我们终于得出了一个概括又通用的IO Process类型Process[F[_],O]。这个类型同时可以代表数据源（Source）和数据终端（Sink）。在这节讨论里我们将针对Process[F,O]的特性通过一些应用实例来示范它的组合性（composibility）和由数据源到接....
分类：
其他好文 时间：
2015-08-26 22:18:56
阅读次数：
250
