今天给大家带来的是开源实时日志分析ELK,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co其中的3个软件是:Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格..
分类:
其他好文 时间:
2016-07-03 23:38:44
阅读次数:
364
大数据已经成为一种发展趋势,得到越来越多的公司参与。最近从事大数据系统设计开发和推荐引擎方面的工作,分几篇文章两个系列把自己的心得记录一下, 和大家分享一下大数据方面的经验。 整个平台包括监控系统、日志分析系统、推荐系统。按数据业务步骤划分,分为数据采集、清洗、存储、分析和服务。整个数据流程如下图: ...
分类:
其他好文 时间:
2016-06-26 21:01:35
阅读次数:
250
WebLogExpertLite,它是一款专门用来分析网站日志文件的软件,可以对网站的来访者进行详细分析,包括当前活动会话统计、文件存取统计、搜索使用情况统计、浏览器/操作系统统计、错误统计等。然后生成HTML形式的表格和图表PDF报告方便各站长对网站各种情况有一个直观的了解。下..
分类:
Web程序 时间:
2016-06-23 19:09:51
阅读次数:
203
原文链接:http://www.cnblogs.com/benio/archive/2010/10/13/1849935.html 本文只节选部分内容 Nginx自己没有日志分割的功能,一旦时间过长,日志文件就会变得很大,在进行日志分析的时候就会变得很困难,因此分割日志很有必要。 本次讲解的是使用s ...
分类:
其他好文 时间:
2016-06-22 18:58:02
阅读次数:
305
iptables日志分析视频教程在2014撰写的《iptables日志探秘》受到广大用户的欢迎,在对内容进行扩充后,现将iptables日志分析视频教程,共享给大家。视频地址:http://edu.51cto.com/index.php?do=lesson&id=96824关键截图:51CTO学院优秀讲师评选中,我期待您的宝贵一票!ht..
分类:
其他好文 时间:
2016-06-21 14:08:21
阅读次数:
144
系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。日志的作用不言而喻,但对于数量庞大且分布在多台机器上的日志,查看就显得特别麻烦了。所以,对于运..
分类:
系统相关 时间:
2016-06-21 14:07:54
阅读次数:
387
UNIX/Linux系统取证之信息采集案例在UNIX/Linux系统取证中,及时收集硬盘的信息至关重要,《Unix/Linux网络日志分析与流量监控》一书中,将详细讨论各种常见系统进程系统调用及镜像文件获取方法。下面简单举几个例子。1.收集正在运行的进程在UNIX/Linux取证时很多系统和网络信..
分类:
系统相关 时间:
2016-06-18 17:07:05
阅读次数:
235
mysqlsla是hackmysql.com推出的一款MySQL的日志分析工具,可以分析mysql的慢查询日志、分析慢查询非常好用,能针对库分析慢查询语句的执行频率、扫描的数据量、消耗时间等,而且分析出来以后还有语句范例1..mysql日志分析工具mysqlsla的安装以及使用[root@oldboymysqlsla-2.03]..
分类:
数据库 时间:
2016-06-18 17:04:58
阅读次数:
332
GoAccess是一款开源的网站日志实时分析工具。GoAccess的工作方式很容易理解,就是读取和解析Apache/Nginx/Lighttpd的访问日志文件accesslog,然后以更友好的方式把统计信息显示出来。统计的内容包括:访问概况、动态页面请求、静态页面请求(如图片、样式表、脚本等)、访客排..
分类:
数据库 时间:
2016-06-17 17:31:23
阅读次数:
276
Linux系统日志及日志分析 Linux系统拥有非常灵活和强大的日志功能,可以保存几乎所有的操作记录,并可以从中检索出我们需要的信息。大部分Linux发行版默认的日志守护进程为 syslog,位于 /etc/syslog 或 /etc/syslogd,默认配置文件为 /etc/syslog.conf ...
分类:
系统相关 时间:
2016-06-17 17:07:29
阅读次数:
239