1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-03-14 18:17:59
阅读次数：
186
题目地址：POJ 2553
题目意思不好理解。题意是：G图中从v可达的所有点w，也都可以达到v，这样的v称为sink。然后升序输出所有的sink。
对于一个强连通分量来说，所有的点都符合这一条件，但是如果这个分量还连接其他分量的话，则肯定都不是sink。所以只需要找出度为0的强连通分量即可。
代码如下：
#include
#include
#include
#include
#in...
分类：
其他好文 时间：
2015-03-12 17:19:08
阅读次数：
203
不知道各位用过flume的读者对这两个概念是否熟悉了解
一开始本人的确有点迷惑，觉得这是不是重复了啊？
没感觉到transactionCapacity的作用啊？
batchSize又是干啥的啊？
……
……
带着这些问题，我们深入源码来看一下：
batchSize
batchSize这个概念首先它出现在哪里呢？
kafkaSink的process方法
HDFS Sink...
分类：
Web程序 时间：
2015-03-12 17:17:17
阅读次数：
11871
原文网址：http://blog.csdn.net/xubin341719/article/details/38584469关键词：蓝牙blueZ A2DP、SINK、sink_connect、sink_disconnect、sink_suspend、sink_resume、sink_is_conn...
分类：
移动开发 时间：
2015-03-11 19:08:37
阅读次数：
346
首先你需要了解JAVA KEYSTORE该SSL用于Avro Sink到Avro Source之间的数据传输
该场景主要用于分布式Flume之间的数据传输，从分散的各个flume agent到中心汇集节点的flume agent下面来看下如何实现的？Avro Sink SSL在这个传输过程中，sink其实就相当于socket的client端了
flume源码中有个类NettyAvroRpcCli...
分类：
Web程序 时间：
2015-03-10 12:09:08
阅读次数：
533
从官方下载的flume-ng的源码里有单元测试的代码，本文就通过单元测试来体验下flume中avro的性能如何
本文中的一个event的body内容大小是1KB，读者可自行组织文本，达到1KB即可，方便测试时，性能的计算
for (int i = 0; i < client.getBatchSize(); i++) {
Event event = channel.take()...
分类：
Web程序 时间：
2015-03-09 16:16:56
阅读次数：
5816
上一篇说了HDFSEventSink的实现，这里根据hdfssink的配置和调用分析来看下sink中整个hdfs数据写入的过程：线上hdfssink的几个重要设置hdfs.path=hdfs://xxxxx/%{logtypename}/%Y%m%d/%H：
hdfs.rollInterval=60
hdfs.rollSize=0//想让文件只根据实际来roll
hdfs.rollCount=0
hd..
分类：
其他好文 时间：
2015-03-08 01:32:45
阅读次数：
4543
flume的主要组件包括：Source,SourceRunner,Interceptor,Channel,ChannelSelector，ChannelProcessor，Sink,SinkRunner,SinkProcessor,SinkSelector等工作流程包含两个部分：source->channel，数据由source写入channel，主动模式，主要步骤如下：一个SourceRunner包含一个So..
分类：
Web程序 时间：
2015-03-06 06:24:30
阅读次数：
217
解法一、网络流相邻的点染不同颜色： (行数+列数)为奇数的染成白色，(行数+列数)为偶数的染成白色source = 0, sink = n*n+1.source到每个白点连接，流量为白点的值黑点到sink连接，流量为黑点的值每个白点与其周围的黑点连接，流量为INT_MAX所有点的值的总和 - 最大....
分类：
其他好文 时间：
2015-03-06 00:54:39
阅读次数：
208
flume 1.5.2
hbase 0.98.9
hadoop 2.6
zk 3.4.6
以上是基础的软件及对应版本，请先确认以上软件安装成功！
1、添加jar包支持
将hbase的lib下的这些jar包拷贝到flume的lib下
2、配置flume
注意看以上的serializer配置，采用的是官方的RegexHbaseEventSerializer，
...
分类：
Web程序 时间：
2015-03-04 11:05:56
阅读次数：
258
