在flume中原有的sink的hdfs接口中只有根据写入多少秒存储关闭文档或者写入多少量存储关闭文档,饼不能根据实际需求来关闭文档,所以需要自己改写代码来满足我们的要求.例如我们需要他在每天到了0点以后关闭上一日的文档,并在写一个新的文档出来,首先我找到源码在flume的源码中一..
分类：
Web程序 时间：
2015-09-09 19:47:15
阅读次数：
499
开一个监听持续间断的获取某个日志的续写的信息,并传入sink中,在flume默认的组建中并没用这样的功能,只能自己根据业务就行开发,下面flume获得source信息概要:首先我们在获得持续输出的日志并创建一个文件中记录我们获取这个日志的信息变化的位置,根据这个位置文件来完成,我们需..
分类：
Web程序 时间：
2015-09-09 19:47:11
阅读次数：
214
续上面获得资源后我们要将转换为相应的日志,落在统一的服务器中.在flume中的对file操作的sink只有RollingFileSink但这个对我们来一点用都没有,packagecom.ule.flume.sink.file;
importjava.io.BufferedOutputStream;
importjava.io.File;
importjava.io.FileOutputStream;
imp..
分类：
Web程序 时间：
2015-09-09 19:44:35
阅读次数：
191
一 使用SpagoBI和Hive进行互联网统计分区问题？ 1 原来根据年月日进行分区再拼接SQL时会异常复杂，需要在Where条件后判断是否跨年，跨月，跨日等问题。 2 Hive的自定义函数不能再Where条件后返回字符串条件来进行...
分类：
其他好文 时间：
2015-09-06 13:12:04
阅读次数：
590
商务智能套件SpagoBI提供一个基于J2EE的框架用于管理BI对象如报表、OLAP分析、仪表盘、记分卡以及数据挖掘模型等的开源BI产品。它提供的BI管理器能 够控制、校验、验证与分发这些BI对象。 SpagoBI特性包括支持Portal、report、OLAP、QbE、ETL、dash...
分类：
其他好文 时间：
2015-09-02 13:43:27
阅读次数：
510
这个文档是?Cloudera Distribution of Apache Kafka?1.3.x. 其他版本的文档在Cloudera Documentation. Using Kafka with Flume 在CDH 5.2.0 及更高的版本中, Flume 包含一个Kafka source and sink。使用它们可以...
分类：
Web程序 时间：
2015-08-29 17:21:58
阅读次数：
338
问题导读：1.Flume传输的数据的基本单位是是什么？2.Event是什么，流向是怎么样的？3.Source:完成对日志数据的收集，分成什么打入Channel中？4.Channel的作用是什么？5.取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器，由谁来完成？6.Fl...
分类：
Web程序 时间：
2015-08-28 21:21:41
阅读次数：
208
ApacheFlume是一个分布式的、可靠的、高效的系统，可以将不同来源的数据收集、聚合并移动到集中的数据存储中心上。ApacheFlume不仅仅只是用到日志收集中。由于数据来源是可以定制的，flume可以使用传输大量的自定义event数据，包括但不限于网站流量信息、社会媒体信息、email信息以及...
分类：
Web程序 时间：
2015-08-28 19:28:39
阅读次数：
229
Flume是一个分布式的、可靠的、可用的服务，用于从许多不同的源上有效地搜集、汇总、移动大量数据日志到一个集中式的数据存储中。并且它是一个简单的和灵活的基于流的数据流架构。它具有鲁棒性和容错机制以及故障转移和恢复的机制。对于分析的应用中它使用一个简单的可扩展的数..
分类：
Web程序 时间：
2015-08-27 19:17:07
阅读次数：
266
问题导读：1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？2.架构设计考虑需要考虑什么问题？3.Agent死机该如何解决？4.Collector死机是否会有影响？5.Flume-NG可靠性(reliability)方面做了哪些措施？美团的日志收集系统负责美团的所有业务日志的...
分类：
Web程序 时间：
2015-08-27 18:36:58
阅读次数：
375
