当服务器遇到问题时,运维工程师都会根据日志分析问题,当黑客入侵服务器时,基本都会删除日志,以免留下蛛丝马迹,由此可见日志对服务器来说多么重要,为此很多公司都会有自己的日志服务器,下面我们来一起学习如何搭建日志服务器和日志分析工具。1.首先必须得客户机与服务器..
分类:
数据库 时间:
2015-07-29 06:52:52
阅读次数:
318
logstash 配置使用redis做中间broker节点无法连接
分类:
其他好文 时间:
2015-07-26 22:27:36
阅读次数:
306
使用Nginx的网站可能会遇到访问流量异常、被友情检测、程序出现Bug等各种突然情况,这时大家的反应想必都是第一时间分析日志,然后发现日志有几十GB之多,又需要按照时间、错误类型或者关键字段检索信息时会不会有种醍醐灌顶、菊花一紧的错觉。文中介绍的方法不管是GoAccess还是sed/awk虽然可以解决一时的问题但未必能够治本,也许`ELK(Logstash+ElasticSearch+Kibana)`对我们大多数人来...
分类:
数据库 时间:
2015-07-17 00:28:10
阅读次数:
1331
e:elasticsearchl:logstashk:kibanalogstash快速入门:http://www.2cto.com/os/201411/352015.htmlelk中文指南 :http://kibana.logstash.es/content/logstash/index.html
分类:
其他好文 时间:
2015-07-15 12:53:15
阅读次数:
156
废话不多说,直接进入主题。总体架构是客户端统一用rsyslog日志收集,--->fluentd服务器上--->mongondb集群--->Elasticsearch+Kibana服务器上展示。rsyslog安装和配置1、更改history格式在/etc/profile.d目录下创建history.sh脚本,内容如下HISTTIMEFORMAT=‘%F%T‘HIST..
分类:
其他好文 时间:
2015-07-14 06:21:38
阅读次数:
270
日志文件和相关服务进程日志文件用来记录系统,服务等在运行过程中发生的事件,事件发生的时间及事件的关键性程序。这些记录的信息在服务器运行出现问题时用来查看分析,以便解决问题。在Linux上,日志的记录一般有两种方式,一种是由软件自身完成自身运行状态的记录,例如http..
分类:
数据库 时间:
2015-07-12 21:45:36
阅读次数:
272
最近涌现出各种各样能帮助你理解日志的新工具,有类似 Scribe、Logstash 这样的开源项目,也有类似 Splunk 的预付费工具,还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗,在大量日志中提取一些更有价值的文件。但有一件事这些工具却爱莫能...
分类:
其他好文 时间:
2015-07-09 19:32:42
阅读次数:
154
最近涌现出各种各样能帮助你理解日志的新工具,有类似 Scribe、Logstash 这样的开源项目,也有类似 Splunk 的预付费工具,还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗,在大量...
分类:
其他好文 时间:
2015-07-09 06:23:34
阅读次数:
122
最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题。
首先,你的电脑上要装Java 的JDK环境,要使用 Logstash+Elastic...