Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前属于apache的一个子项目。 一般来说，部署到服务...
分类：
Windows程序 时间：
2016-01-06 11:39:03
阅读次数：
8147
上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
https://www.quora.com/Why-does-flume-take-more-resource-CPU-when-file-channel-is-used-compared-to-when-memory-channel-is-usedIn case of File channel ,...
分类：
Web程序 时间：
2015-12-25 18:56:56
阅读次数：
149
最近在做一个分布式调用链跟踪系统，在两个地方采用了flume ,一个是宿主系统 ，用flume agent进行日志搜集。 一个是从kafka拉日志分析后写入hbase.后面这个flume（从kafka拉日志分析后写入flume)用了3台 , 系统上线以后 ，线上抛了一个这样的异常：Caused by...
分类：
Web程序 时间：
2015-12-23 19:44:15
阅读次数：
1098
官方参考文档https://flume.apache.org/FlumeUserGuide.html#file-channelFlumeNG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现..
分类：
Web程序 时间：
2015-12-13 00:50:23
阅读次数：
306
hive加载的数据为通过flume-ng收集的数据，然后直接将其sink指定为hdfs，在指定hdfs sink的前缀时获取header中的host内容，而前一个源根本没有将host传递过来，所以导致存入hdfs中的数据文件文件名为以点开头，如下：接下来在hive中创建一个外部表（内部表也一样），导...
分类：
其他好文 时间：
2015-12-04 00:48:10
阅读次数：
894
问题描述：采用flume上传到HDFS通过原生的sink一直会报如下错误：flume支持lzo压缩前提条件：1、flume机器节点上安装有lzo库hadoop库。2、flume启动的时候配置过hadoop环境变量。3、hadoop配置支持lzo格式压缩。解决问题：
分类：
Web程序 时间：
2015-12-03 15:44:41
阅读次数：
839
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-11-28 14:58:52
阅读次数：
260
一、FLUME介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-11-28 01:01:28
阅读次数：
255
Todo:对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Sotrm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出编写KafkaSink从$KAFKA...
分类：
Web程序 时间：
2015-11-27 17:43:28
阅读次数：
290
