Elasticsearch是个开源分布式搜索引擎它的特点有分布式零配置自动发现索引自动分片索引副本机制restful风格接口多数据源自动搜索负载等。Logstash是一个完全开源的工具他可以对你的日志进行收集、分析并将其存储供以后使用如搜索。kibana也是一个开源和免费的工具他Kibana可以..
分类：
其他好文 时间：
2015-11-24 13:03:49
阅读次数：
253
一、对apache进行日志拆分1、配置apache使用cronolog:由于实验用的apache开启了虚拟主机功能，所以以下配置都在虚拟主机中进行，这样也是为了方便对多站点的分析操作。vim/etc/httpd/conf.d/vhosts.conf将配置文件中的CustomLog和ErrorLog替换为下面的（由于我们要对多站点，所..
分类：
Web程序 时间：
2015-11-22 06:47:58
阅读次数：
152
1.$3匹配到fangdd.com,打印改行所有内容awk‘{if($3==fangdd.com)print$0}’filename2.匹配到fangdd.com后打印改行的$1awk‘/fangdd.com/{print$1}‘filename3.匹配到$3为404后打印改行的$1awk‘$3==404{print$1}‘filename4.打印出Nignx的时间,域名,URL,IP,并以IP排序,取唯一awk‘{p..
分类：
其他好文 时间：
2015-11-21 07:14:47
阅读次数：
249
原文网址：http://www.csdn.net/article/1970-01-01/28246611.Hadoop在百度得使用 Hadoop在百度的应用领域主要包括：大数据挖掘与分析，日志分析平台，数据仓库系统，用户行为分析系统，广告平台等存储与计算服务。 目前百度的Hadoop集群规模已经超过...
分类：
其他好文 时间：
2015-11-18 16:21:14
阅读次数：
192
由于项目更新了一大版本，过不了多久就会进行一次SQL语句查询的优化任务，由运维部分导出一份历史查询SQL语句日志给开发部门做优化分析工作。以前写过一个日志分析的工具，可以不是很好，所以最近又花了几天时间，完善了这个工具。下面，我来说一下，开发历程：一、任务分析：1、工具界面：2、具体需求：分类统.....
分类：
数据库 时间：
2015-11-13 18:56:20
阅读次数：
350
《Unix/Linux网络日志分析与流量监控》获2015年度最受读者喜爱的IT图书奖。刊登在《中华读书报》（ 2015年01月28日 19 版）
分类：
系统相关 时间：
2015-11-12 11:17:07
阅读次数：
291
日志分析软件 secilog 1.18发布，增加了mysql数据库审计，增加了多个web报表，对日志查询做了更多友好的新特性，上篇文章1.17，有兴趣可以了解一下。本次升级主要增加以下功能： 增加了mysql数据库审计 mysql的审...
分类：
数据库 时间：
2015-11-12 10:11:40
阅读次数：
355
http://www.cocoachina.com/industry/20130725/6677.htmlhttp://blog.csdn.net/xyxjn/article/details/43310061
分类：
移动开发 时间：
2015-11-09 18:41:38
阅读次数：
144
ELK即Elasticsearch+Logstash+Kibana组合，是一个开源分布式搜索平台，搭建该平台的目的就是为了方便的查询日志。Elasticsearch一个开源的搜索引擎框架，Logstash集成各种收集日志插件，还是一个比较优秀的正则切割日志工具；Kibana一个免费的web图形工具。安装架构如图所示，..
分类：
其他好文 时间：
2015-11-09 14:03:18
阅读次数：
412
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后...
分类：
其他好文 时间：
2015-11-05 10:51:47
阅读次数：
291
