HDFS sink里有个属性hdfs.rollInterval=86400，这个属性你设置了24小时滚动一次，它的确就到了24小时才滚动，但是我们的需求往往是到了0点就滚动文件了，因为离线的job因为都会放在夜里执行。
如果flume是早上9点启动的，那么要到明天早上9点，hdfs的文件才会关闭，难道job要等到9点后才执行，这显然不合适，所以通过修改源码使其能够在0点滚动文件。
首先...
分类：
Web程序 时间：
2015-04-29 15:12:56
阅读次数：
660
Hadoop大数据零基础实战培训教程一，教程内容：1，Hadoop2.0YARN深入浅出系列2，Avro数据序列化系统3，Chukwa集群监控系统4，Flume日志收集系统5，Greenplum架构6，Hadoop的起源7，Hadoop商业应用案例8，HBase案例分析9，HBase编程实践10，M...
分类：
其他好文 时间：
2015-04-26 12:05:41
阅读次数：
209
结构：nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题，在两个kafka之间加了个flume,蛋疼。。)现象：在第二层，写入kafka的topic和读取的kafka的topic相同，手动设定的sinktopic不生效打开debug日志：source实例化:21Apr201519:24:03,146INFO[conf-file-poll..
分类：
Web程序 时间：
2015-04-26 01:47:52
阅读次数：
765
1. flume 的基本概念
本文中所有与 flume 相关术语都采用斜体英文表示，这些术语的含义如下所示。
flume 一个可靠的，分布式的，用于采集，聚合，传输海量日志数据的工具。
Web Server 一个产生 Events/数据 的客户端。
Agent flume 系统中的一个节点，它主要包含三个部件：Source, Channel...
分类：
Web程序 时间：
2015-04-24 22:43:31
阅读次数：
263
测试使用agentd监听获取数据。下载http://www.zabbix.com/downloads/2.0.3/zabbix_agents_2.0.3.linux2_6.i386.tar.gzhttp://www.zabbix.com/documentation/2.0/manual/instal...
分类：
其他好文 时间：
2015-04-22 20:17:58
阅读次数：
157
START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。一、Flume基础理论1.1 常见的分布式日志收集系统 Scribe是facebook开源的日志收集....
分类：
Web程序 时间：
2015-04-22 01:51:13
阅读次数：
166
在学计算机新知识时，第一件事情就是要写一个 “Hello World”，同样，在 flume 中，它的 “Hello World” 就是 run it。
1、flume 基本概要
(1) flume 是做什么的？
flume 是 apach 的开源项目，它主要用来收集数据，即将来源于不同节点的数据汇聚到一个中心节点。
(2) 数据在 flume 内部传输过程中是否会丢失数据？
flume...
分类：
Web程序 时间：
2015-04-20 22:39:54
阅读次数：
233
Domain-Specific LanguagesMichael HungerWHENEVER YOU LiSTEN TO A DiSCUSSiON BY ExPERTS in any domain, be it chess players, kindergarten teachers, or insurance agents, you’ll notice that their vocabulary...
分类：
其他好文 时间：
2015-04-20 09:29:41
阅读次数：
120
flume写hdfs的操作在HDFSEventSink.process方法中，路径创建由BucketPath完成分析其源码（参考：http://caiguangguang.blog.51cto.com/1652935/1619539）可以使用%{}变量替换的形式实现，只需要获取event中时间字段（nginx日志的localtime）传入hdfs.path即可具体实现如下：1...
分类：
Web程序 时间：
2015-04-19 19:37:36
阅读次数：
156
flume打包遇到的一些问题1.ipc兼容性问题，线上使用2.3.0的hdfs，但是打包时默认为1.2.1的08Apr201519:38:25,122WARN[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSEventSink.process:455)-HDFSIOerror
org.apache.hadoop.ipc.RemoteExcept..
分类：
Web程序 时间：
2015-04-19 19:36:26
阅读次数：
256
