最近接到一个日志收集的需求,经过测试和修改,目前基本实现想要的功能,记录一下。 先说一下日志收集的需求,每隔1小时收集一次log日志,按照类别生成不同的lzo压缩文件,而且生成的日志要放在到前一个小时的目录中。 拿到这个需求先想到使用flume来进行日志收集,再用Interceptor进行过...
分类:
Web程序 时间:
2014-12-17 01:34:44
阅读次数:
280
rsyslog进程
syslog是记录系统中的日志记录的一个工具,可以支持本地的、也可以支持远程的日志的写入。
在LinuxMint环境中,基于upstart的机制的后台守护程序是放在/etc/init/目录下的,可使用下如下的命令进行查看具体的启动脚本:
ufo@ufo:/var/log$ less /etc/init/rsyslog.conf
查看当前rsyslogd是否已经启动:...
分类:
系统相关 时间:
2014-12-16 19:13:18
阅读次数:
289
Linux日志默认时间格式:Dec1609:52:01,看起来不习惯,修改成2014-12-1609:52:01感觉舒服多了。步骤:vi/etc/rsyslog.conf#定义自己的本土化的时间格式$templatemyformat,"%$NOW%%TIMESTAMP:8:15%%hostname%%syslogtag%%msg%\n"#Usedefaulttimestampformat#$ActionFileDefault..
分类:
系统相关 时间:
2014-12-16 15:22:19
阅读次数:
963
一、安装并设置LAMP环境yum-yinstallhttpdmysql*php*二、安装Rsyslog服务器端:yuminstallrsyslogrsyslog-mysqlrsyslog-mysql:将日志传送到MySQL数据库mysql-uroot-p1234</usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql配置数据权限#mysql-uroot–pmysql>grantallon..
分类:
数据库 时间:
2014-12-15 22:02:53
阅读次数:
394
原文地址:https://kafka.apache.org/documentation.html#semantics 1、开始 1.1 引言 Kafka是一个分布式,分区队列,冗余备份的消息存储服务。它是一个有独特设计的消息系统。 这是什么意思呢? 首先我们介绍下相关的基本通信概念: ...
分类:
其他好文 时间:
2014-12-14 09:26:53
阅读次数:
273
http://blog.csdn.net/zxcvg/article/details/18600335http://www.aboutyun.com/thread-8317-1-1.htmlhttp://blog.csdn.net/lskyne/article/details/37564449美团数...
分类:
Web程序 时间:
2014-12-13 12:09:38
阅读次数:
207
Release Notes - Apache Storm - Version 0.9.2-incubating Sub-task [STORM-207] - Add storm-starter as a module [STORM-208] - Add storm-kafka as a module [STORM-223] - Safe YAML Parsing [STORM-232] - ...
分类:
Web程序 时间:
2014-12-12 15:07:15
阅读次数:
429
采集层 主要可以使用Flume, Kafka两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API. Kafka:Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。...
分类:
Web程序 时间:
2014-12-12 13:27:34
阅读次数:
209
在使用flume中发现由于网络、HDFS等其它原因,使得经过Flume收集到HDFS上得日志有一些异常,表现为:1、有未关闭的文件:以tmp(默认)结尾的文件。加入存到HDFS上得文件应该是gz压缩文件,以tmp为结尾的文件就无法使用;2、有大小为0的文件,比如gz压缩文件大小为0,我们单独拿下这个...
分类:
Web程序 时间:
2014-12-11 13:46:24
阅读次数:
299
MetaQ(全称Metamorphosis)是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。MetaQ具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付...
分类:
Web程序 时间:
2014-12-10 22:42:01
阅读次数:
288