以下内容都为自己浅显的理解，用作备忘的流水账，所以写的比较混乱。如理解有错误，请帮忙指正 FLUME-NG中没有之前的对文件的实时流SOURCE，只提供了spoolDir的source，这个source的功能监控指定文件夹，放入文件夹内的文件不能再做任何修改（包括修改时间和文件大小），这2个错...
分类：
Web程序 时间：
2014-12-05 15:30:59
阅读次数：
349
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
摘自：http://my.oschina.net/leejun2005/blog/2881361、Flume 的一些核心概念：1.1 数据流模型1.2 高可靠性1.3 可恢复性2、Flume 整体架构介绍2.1 Exec source2.2 Spooling Directory Source3、常用...
分类：
Web程序 时间：
2014-11-26 15:51:08
阅读次数：
180
缘起：线上的go service 挂了,无法启动。原因：采用的第三方库有个bug, 在go携程里面执行task的时候会产生out of range 的panic， 而我又把任务队列每次加载的时候重做一次，导致无法启动。分析：go携程里面某个task执行失败，不应该影响service的正常运行。解决：...
分类：
其他好文 时间：
2014-11-19 15:43:30
阅读次数：
163
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
Flume的介绍就不多说了，大家可以自己搜索。但是目前网上大都是Flume 1.4版本或之前的资料，Flume 1.5感觉变化挺大的，如果你准备尝试一下，我这里给大家介绍一下最小化搭建方案，并且使用MongoSink将数据存入mongodb。完全单机运行，没有master，没有collector（说白了collector也就是一个agent，只是数据来源于多个其他agent），只有一个agent。...
分类：
数据库 时间：
2014-11-13 16:39:29
阅读次数：
464
这几天在搭建flume服务并在其框架下开发，反复调试输入命令让人不厌其烦，因此在这里记录一下自己找到的一些小技巧：
首先，把自己的应用程序做成一个service是一个很好的选择，一个service就需要支持start 和 stop，start能启动程序，stop能找到start所启动的程序的进程并且关掉它。
可以直接根据/etc/init.d/下的服务脚本来改，但我遇到了问题：因为那些系统服务...
分类：
Web程序 时间：
2014-11-05 19:49:02
阅读次数：
320
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
1. ../flume/fchannel/spool/data/ 目录下发生缓存文件积压 可能原因：同一时间同一客户端下向两个监控目录mv文件；或同一时间多个客户端向服务端上传文件2.清空../flume/fchannel/spool/data/ 目录下文件重启后，监控目录下的文件发生积压，没有上传...
分类：
Web程序 时间：
2014-11-03 22:08:46
阅读次数：
590
