[root@dtpweb data]#tar -zxvf apache-flume-1.7.0-bin.tar.gz[root@dtpweb conf]# cp flume-env.sh.template flume-env.sh 修改java_home[root@dtpweb conf]# cp ...
分类：
Web程序 时间：
2016-12-19 21:13:01
阅读次数：
219
基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。 Flume的事务处理原理： Flume在对Channel进行Put和Take操作的时候，必须要用事物包住,比如： Ch ...
分类：
Web程序 时间：
2016-12-16 14:13:18
阅读次数：
2141
1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi ...
分类：
Web程序 时间：
2016-12-16 14:07:02
阅读次数：
413
Flume和Sqoop是Hadoop数据集成和收集系统，两者的定位不一样，下面根据个人的经验与理解和大家做一个介绍：Flume由cloudera开发出来，有两大产品：Flume-og和Flume-ng，Flume-og的架构过于复杂，在寻问当中会有数据丢失，所以放弃了。现在我们使用的是Flume-ng，主要是日志采集..
分类：
Web程序 时间：
2016-12-13 00:31:08
阅读次数：
344
Technorati Tags: Solr,Hue,Flume,Morphline,大数据1.Flume和Morphline添加日志打印 log4j.logger.org.apache.flume.sink.solr=DEBUG log4j.logger.org.kitesdk.morphline=... ...
分类：
Web程序 时间：
2016-12-12 22:14:49
阅读次数：
236
背景：Kafka消息总线的建成，使各个系统的数据得以在kafka节点中汇聚，接下来面临的任务是最大化数据的价值，让数据“慧”说话。 环境准备： Kafka服务器*3。 CDH 5.8.3服务器*3，安装Flume,Solr,Hue,HDFS,Zookeeper服务。 Flume提供了可扩展的实时数据 ...
分类：
Web程序 时间：
2016-12-11 03:14:50
阅读次数：
517
为什么翻flume的代码，一方面是确实遇到了问题，另一方面是想翻一下flume的源码，看看有什么收获，现在收获还谈不上，因为要继续总结。不够已经够解决问题了，而且确实有好的代码，后续会继续慢慢分享，这里先把启动的流程分析一下，这也是找到问题症结的关键。 至于遇到的问题如下： Caused by: o ...
分类：
Web程序 时间：
2016-12-08 20:33:03
阅读次数：
316
官方文档是程序员最好的学习资料，本篇是Flume User Guide文中末尾的一些知识点，希望能够帮助大家更好地学习Flume. ...
分类：
Web程序 时间：
2016-12-07 20:30:28
阅读次数：
275
Flume安装 系统要求： 需安装JDK 1.7及以上版本 1、 下载二进制包 下载页面：http://flume.apache.org/download.html 1.7.0下载地址：http://www.apache.org/dyn/closer.lua/flume/1.7.0/apache-f ...
分类：
Web程序 时间：
2016-12-07 13:14:56
阅读次数：
427
官方文档是程序员最好的学习资料，本篇是Flume User Guide（二），希望能够帮助大家更好地学习Flume。 ...
分类：
Web程序 时间：
2016-12-06 20:13:47
阅读次数：
272
