上周把安卓日志手机的客户端sdk完成跑通，这周开始调试日志服务器端。使用flume进行日志收集，然后转kafka。在测试的时候总是发现漏掉一些event，后来才知道对 channel 和 sink 的使用有误。当多个sink使用同一个channel时，event是会分流共同消耗的，而不是每个sink...
分类：
Web程序 时间：
2016-01-05 18:40:42
阅读次数：
197
转载自：http://www.cnblogs.com/tangbinblog/p/3371545.html重用实现分析 查看UITableView头文件，会找到NSMutableArray* visiableCells，和NSMutableDictnery* reusableTableCells两....
分类：
其他好文 时间：
2015-12-27 21:56:22
阅读次数：
207
https://www.quora.com/Why-does-flume-take-more-resource-CPU-when-file-channel-is-used-compared-to-when-memory-channel-is-usedIn case of File channel ,...
分类：
Web程序 时间：
2015-12-25 18:56:56
阅读次数：
149
如何使用setjmp & longjmp，就不再细说了，请参考APUE 7.10.本文解释如下知识点：1、简单介绍X86_64的寄存器2、setjmp & longjmp是怎么实现的。3、为什么能从setjmp处多次返回。4、从setjmp返回时，那些数据是无效了，如何避免。本文没有画出函数调用栈桢...
分类：
其他好文 时间：
2015-12-24 00:33:30
阅读次数：
484
最近在做一个分布式调用链跟踪系统，在两个地方采用了flume ,一个是宿主系统 ，用flume agent进行日志搜集。 一个是从kafka拉日志分析后写入hbase.后面这个flume（从kafka拉日志分析后写入flume)用了3台 , 系统上线以后 ，线上抛了一个这样的异常：Caused by...
分类：
Web程序 时间：
2015-12-23 19:44:15
阅读次数：
1098
转自：http://blog.csdn.net/androidlushangderen/article/details/41142795上篇我刚刚学习完，Spilt的过程，还算比较简单的了，接下来学习的就是Map操作的过程了，Map和Reduce一样，是整个MapReduce的重要内容，所以，这一篇...
分类：
其他好文 时间：
2015-12-14 01:28:51
阅读次数：
290
官方参考文档https://flume.apache.org/FlumeUserGuide.html#file-channelFlumeNG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的FlumeOG到现在的FlumeNG，进行了架构重构，并且现..
分类：
Web程序 时间：
2015-12-13 00:50:23
阅读次数：
306
hive加载的数据为通过flume-ng收集的数据，然后直接将其sink指定为hdfs，在指定hdfs sink的前缀时获取header中的host内容，而前一个源根本没有将host传递过来，所以导致存入hdfs中的数据文件文件名为以点开头，如下：接下来在hive中创建一个外部表（内部表也一样），导...
分类：
其他好文 时间：
2015-12-04 00:48:10
阅读次数：
894
问题描述：采用flume上传到HDFS通过原生的sink一直会报如下错误：flume支持lzo压缩前提条件：1、flume机器节点上安装有lzo库hadoop库。2、flume启动的时候配置过hadoop环境变量。3、hadoop配置支持lzo格式压缩。解决问题：
分类：
Web程序 时间：
2015-12-03 15:44:41
阅读次数：
839
配置 设置代理 Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。 配置单个组件 流中每个组件（源，接收器或通道）都有名称，类型，和一组特定实...
分类：
Web程序 时间：
2015-11-28 14:58:52
阅读次数：
260
