文章内容还是来自官网http://flume.apache.org/FlumeDeveloperGuide.html由于在实际工作中，数据的生产方式极具多样性，Flume虽然包含了一些内置的机制来采集数据，但是更多的时候用户更希望能将应用程序和flume直接相通。所以这边运行用户开发应用程序，通过IPC或者RPC连接flu..
分类：
其他好文 时间：
2017-03-15 19:19:14
阅读次数：
280
版权声明：本文为博主原创文章，未经博主允许不得转载。目录(?)[+]一、TransactioninterfaceTransaction接口是基于flume的稳定性考虑的。所有主要的组件（sources、sinks、channels)都必须使用FlumeTransaction。我们也可以理解Transaction接口就是flume的事务，sources和sinks..
分类：
Web程序 时间：
2017-03-15 19:19:00
阅读次数：
281
在实际使用中发现Flume内置的基于正则的解析方式非常耗时，有非常大的提升空间。如果你不需要配置按时间戳解析时间，那这篇文章对你用处不大，hdfs sink对应的解析时间戳的代码位于org.apache.flume.sink.hdfs.HDFSEventSink的process()方法中，涉及两句代 ...
分类：
Web程序 时间：
2017-03-14 19:35:03
阅读次数：
250
本文将介绍Flume(Spooling Directory Source) + HDFS,关于Flume 中几种Source详见文章 http://www.cnblogs.com/cnmenglang/p/6544081.html 1.资料准备 ： apache-flume-1.7.0-bin.ta ...
分类：
Web程序 时间：
2017-03-13 18:53:36
阅读次数：
234
1.flume概念 flume是分布式的，可靠的，高可用的，用于对不同来源的大量的日志数据进行有效收集、聚集和移动，并以集中式的数据存储的系统。 flume目前是apache的一个顶级项目。 flume需要java运行环境，要求java1.6以上，推荐java1.7. 将下载好的flume安装包解压 ...
分类：
Web程序 时间：
2017-03-13 18:28:03
阅读次数：
252
Flume环境搭建_五种案例 A simple example <!--more--> Here, we give an example configuration file, describing a single-node Flume deployment. This configuration ...
分类：
Web程序 时间：
2017-03-12 18:15:18
阅读次数：
251
Flume介绍 http://flume.apache.org/FlumeUserGuide.html 一、Flume架构图 <!--more--> 含义 Source 规定收集数据的来源 Channel 相当于一个管道，连接source和sink Sink flume agent收集到数据后，数据 ...
分类：
Web程序 时间：
2017-03-12 16:44:36
阅读次数：
215
下载解压到/usr/local/flume 配置环境变量 在conf里配置flume-env.sh 添加jdk路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 验证是否安装成功 root@kali:~# flume-ng version Fl ...
分类：
Web程序 时间：
2017-03-09 21:44:32
阅读次数：
174
一、elasticsearch单机环境搭建 注：elasticsearch对JDK版本这有严格的要求，一般建议安装Java: openjdk version "1.8.0_xx" 配置ElasticSearch 编辑ES的配置文件，修改以下配置项： 启动ES： 打开页面IP:9200，将会看到以下内 ...
分类：
Web程序 时间：
2017-03-08 00:51:22
阅读次数：
640
本文主要介绍使用Flume传输数据到MongoDB的过程，内容涉及环境部署和注意事项。 一、环境搭建 1、flune-ng下载地址：http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz2、mong ...
分类：
数据库 时间：
2017-03-07 22:33:25
阅读次数：
234
