Linux上通常可以通过rsyslog来实现系统日志的集中管理,这种情况下通常会有一个日志服务器,然后每个机器配置自己日志通过rsyslog来写到远程的日志服务器上。这里假定有两台服务器,一台作为系统日志的服务器(比如机器名logmaster),另一台作为日志的客户端(比如机器名logclient)日志服务器配置首先修改log master机器上的/etc/rsyslog.conf文件,将其中下面四...
分类:
系统相关 时间:
2015-06-28 15:37:33
阅读次数:
196
一、理论介绍
(一)相关资料
1、官方资料,非常详细:
http://kafka.apache.org/documentation.html#quickstart
2、有一篇翻译版,基本一致,有些细节不同,建议入门时先读此文,再读官方文档。若自认英语很强,请忽视:
http://www.linuxidc.com/Linux/2014-07/104470.htm
3、还有一文...
分类:
其他好文 时间:
2015-06-27 10:00:56
阅读次数:
155
一. 监控系统选型1. nagio, 2. zabbix,3. nagios + cacti,4. 小米刚开源了自己的监控系统 open-falcon 可以看看二. 纯日志采集与分析使用ELK, 三件套的使用。
分类:
其他好文 时间:
2015-06-26 21:01:54
阅读次数:
108
背景介绍:默认下的Haproxy配置是不会生成日志文件的,而无运行日志,无法确定系统运行是否流畅,无法提起预判可能发生的故障创建Haproxy日志文件的步骤如下vi /etc/rsyslog.conf取消以下2行的注释:$ModLoad imudp$UDPServerRun 514并添加如下一行配置...
分类:
其他好文 时间:
2015-06-25 22:41:28
阅读次数:
396
之前我是在bashrc中添加了一句,让系统操作日志时向rsyslog发送一份内容,现在只要在发送的时候,自己再获取下当前的远程登录IP加进去就可以,像这样/etc/bashrc1 sshClientIP=`w | tail -n +3 | awk 'BEGIN {ip="local"}{if ($5...
分类:
系统相关 时间:
2015-06-25 19:15:26
阅读次数:
224
1.3?快速入门 Step 1: 下载Kafka 点击这里下载?Download?并解压 > tar -xzf kafka_2.10-0.8.2.0.tgz> cd kafka_2.10-0.8.2.0 Step 2: 启动服务 Kafka 使用 ZooKeeper 因此需要首先启动 ZooKeeper 服务。如果你...
分类:
其他好文 时间:
2015-06-24 14:48:32
阅读次数:
144
所谓日志审计,就是记录所有系统及相关用户行为的信息,并且可以自动分析、处理、展示(包括文本或者录像)推荐方法:sudo配合syslog服务,进行日志审计(信息较少,效果不错)1.安装sudo命令、syslog服务(centos6.4或以上为rsyslog服务)[root@nginx_back~]#rpm-qa"sudo|sysl..
分类:
系统相关 时间:
2015-06-24 07:07:28
阅读次数:
187
storm中只能进行任务计算,不能保存中间结果,最后结果。这就有一个需求,保存计算结果,最好还是分布式的,因为storm也是分布式,大数据计算。流行的分布式计算中使用队列保存数据居多。kafka适合大量写入,但是稳定性差,项目采用的是rabbitmq.rabiitmq有2种模式:1.集群模式(高稳定...
分类:
其他好文 时间:
2015-06-23 19:48:21
阅读次数:
213
上一篇博文我们解析了rsyslog的基础知识与配置,下面我们紧接上篇博文继续完善,最终利用Rsyslog+LogAnalyzer+MySQL部署日志服务器,实现日志信息的webGUI展示。【实验环境与拓扑】系统:CentOS6.5Rsyslog:rsyslogd5.8.10Loganalyzer:loganalyzer-3.6.5LAMP:httpd-2.4.4,mysql..
分类:
系统相关 时间:
2015-06-23 06:26:29
阅读次数:
655
本文简单介绍了Flume agent的LineDeserializer的机制以及它在收集多行形式的日志上的缺陷,并对其进行了扩展。...
分类:
Web程序 时间:
2015-06-22 22:23:56
阅读次数:
281