最近接到一个日志收集的需求，经过测试和修改，目前基本实现想要的功能，记录一下。 先说一下日志收集的需求，每隔1小时收集一次log日志，按照类别生成不同的lzo压缩文件，而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集，再用Interceptor进行过...
分类：
Web程序 时间：
2014-12-17 01:34:44
阅读次数：
280
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
软件提供的功能：1、rsyslog是RHEL或centos系统6.x版本的日志服务，代替以前系统的syslog服务。在这个架构中rsyslog服务主要是收集日志的功能，把日志归类，写入数据库。2、mysql是简单的数据库，在这个架构中主要任务是存放收集过来的日志信息，以便提供给loganalyzer软件来显..
分类：
数据库 时间：
2014-10-10 17:00:24
阅读次数：
323
收集流程1nxlog=>2logstash=>3elasticsearch1.nxlog使用模块im_file收集日志文件，开启位置记录功能2.nxlog使用模块tcp输出日志3.logstash使用input-tcp，收集日志，并格式化，输出至eswindows上面的nxlog配置文件nxlog.conf##Thisisasampleconfigurationfile.Seethenxlo..
分类：
Windows程序 时间：
2014-09-10 19:44:21
阅读次数：
1381
logstash在windows中收集日志的时候，会导致写日志的程序不能进行日志的切割（windows提示，文件被占用）从github上下载useJavatoOpenFilehttps://github.com/edwinf/ruby-filewatch/tree/useJavatoOpenFilewgethttps://github.com/jordansissel/ruby-filewatch/archive/master..
分类：
Windows程序 时间：
2014-09-03 18:27:57
阅读次数：
3214
实时计算里，需要对日志实时收集，logstash可以做到。目前的版本是1.4.2，官方文档在http://www.logstash.net/docs/1.4.2/，里面有详细的配置说明，使用也很简单。这里主要对logstash的可靠性做了简单的验证intput为file，kill掉logstas.....
分类：
其他好文 时间：
2014-08-17 22:44:32
阅读次数：
2054
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2...
分类：
其他好文 时间：
2014-06-02 15:38:43
阅读次数：
477
