没有运行，直接看源码得到sink简单运行过程SinkRunner负责运行sink程序内部类PollingRunnerimplements Runnable{ private SinkProcessor policy;}负责运行sinkrun方法while (!shouldStop.get()) {....
分类：
Web程序 时间：
2015-02-05 21:47:15
阅读次数：
211
我们直接看该Source的start方法吧
public void start() {
logger.info("Exec source starting with command:{}", command);
executor = Executors.newSingleThreadExecutor();
runner = new ExecRunnable(shell...
分类：
Web程序 时间：
2015-02-05 11:24:26
阅读次数：
282
1. Hadoop 支持lzo压缩依赖： lzo：Unix/linux系统默认没有lzo的 库，因此需要安装，sudoyum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64...
分类：
Web程序 时间：
2015-02-02 19:47:04
阅读次数：
416
概览
flume-ng中最重要的核心三大组件就是source,channel,sink
source负责从源端收集数据
channel负责暂存收集来的数据，以备下游取走消费
sink负责消费通道中的数据，写到最终的输出端上
以上是总体的一个简单结构图，下面我们来深入每一个组件的内部看看：
1、Source
source接口的定义如下：
@Inte...
分类：
Web程序 时间：
2015-01-30 17:45:41
阅读次数：
1035
在flume1.5.2中，如果想要通过http方式的监控来获取flume相关度量值，通过在启动脚本后添加如下内容即可：
-Dflume.monitoring.type=http -Dflume.monitoring.port=34545
监控
-D的属性可以通过System.getProerties()直接获取得到，那么以上两个属性是通过方法loadMonitoring()来读取，该方法...
分类：
Web程序 时间：
2015-01-29 17:38:20
阅读次数：
321
最近（2014年底）找了写现下流行的框架，做个框架，如果有想自己写个框架的，可以参考下，架构包含内容
1）MVC框架（SpringMVC）
2）映射框架（hibernate） ---- 用hibernate做的映射，操作数据库采用Hibernate+SpringJdbc的方式
3）CSS框架（bootstrap）
4）日志管理（slf4j+log4j） ---- thymeleaf框架...
分类：
编程语言 时间：
2015-01-29 00:07:45
阅读次数：
199
本人在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下：
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel=c1
a1.sinks.k1.hdfs.useLocalTimeStamp=true
a1.sinks.k1.hdfs.path=hdfs://192.168.11.177:9000/flume/events/%Y/%m/%d...
分类：
Web程序 时间：
2015-01-28 18:00:15
阅读次数：
1115
一：nginx日志管理我们观察nginx的server段,可以看到如下类似信息 #access_log logs/host.access.log main;这说明 该server, 它的访问日志的文件是 logs/host.access.log ,使用的格式”main”格式.除了main格式,...
分类：
其他好文 时间：
2015-01-22 17:29:45
阅读次数：
145
hello flume (Ubuntu 下 flume1.5单机版安装以及简单入门示例)...
分类：
Web程序 时间：
2015-01-22 13:20:37
阅读次数：
137
大家在启动flume的时候，输入的命令就可以看出flume的启动入口了
[root@com21 apache-flume-1.5.2-bin]# sh bin/flume-ng agent -c conf -f conf/server.conf -n a1
Info: Sourcing environment configuration script /home/flume/apache-flu...
分类：
移动开发 时间：
2015-01-21 18:22:15
阅读次数：
330
