使用Nginx的网站可能会遇到访问流量异常、被友情检测、程序出现Bug等各种突然情况,这时大家的反应想必都是第一时间分析日志,然后发现日志有几十GB之多,又需要按照时间、错误类型或者关键字段检索信息时会不会有种醍醐灌顶、菊花一紧的错觉。文中介绍的方法不管是GoAccess还是sed/awk虽然可以解决一时的问题但未必能够治本,也许`ELK(Logstash+ElasticSearch+Kibana)`对我们大多数人来...
分类:
数据库 时间:
2015-07-17 00:28:10
阅读次数:
1331
e:elasticsearchl:logstashk:kibanalogstash快速入门:http://www.2cto.com/os/201411/352015.htmlelk中文指南 :http://kibana.logstash.es/content/logstash/index.html
分类:
其他好文 时间:
2015-07-15 12:53:15
阅读次数:
156
最近涌现出各种各样能帮助你理解日志的新工具,有类似 Scribe、Logstash 这样的开源项目,也有类似 Splunk 的预付费工具,还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗,在大量日志中提取一些更有价值的文件。但有一件事这些工具却爱莫能...
分类:
其他好文 时间:
2015-07-09 19:32:42
阅读次数:
154
通过网页访问日志分析使用者的地址,然后将其放到地图上,分析访问来源的热区从而得到用户的地图分布,是不是很有用、也很酷?这里介绍个使用GIScript和GeoIP来进行访问网址的地理定位的例子。 ????这...
分类:
其他好文 时间:
2015-07-09 18:14:48
阅读次数:
170
最近涌现出各种各样能帮助你理解日志的新工具,有类似 Scribe、Logstash 这样的开源项目,也有类似 Splunk 的预付费工具,还有托管服务如 SumoLogic 和 PaperTrail。这些工具的共同点是对日志数据进行清洗,在大量...
分类:
其他好文 时间:
2015-07-09 06:23:34
阅读次数:
122
要使用GeoIP,需要重新编译Nginx,我的系统是centos6.5,nginx用的是tengine,需要的软件包:gcc、gcc-c++、 openssl、 openssl-devel、geoIP library、GeoLite Country、GeoLite City、pcre、tengine...
分类:
其他好文 时间:
2015-07-08 10:55:18
阅读次数:
392
最近在做日志分析这块儿,要使用 Logstash+Elasticsearch+Kibana 实现日志的导入、过滤及可视化管理,官方文档写的不够详细,网上的文章大多要么是针对Linux系统的用法,要么就是抄袭别人的配置大都没法运行。费了很大劲才搞定了这仨东西,写一篇用法心得,废话不多说,进入主题。
首先,你的电脑上要装Java 的JDK环境,要使用 Logstash+Elastic...
geoip介绍 资源下载地址 代码 调试并成功 一、geoip介绍 ? ? ? Geolocation IP,基于IP查询的地理位置的意思,企业网站(打开即可链接),我们可以根据免费版的geoip dat离线ip数据文件去查询。 二、资源下载地址...
分类:
其他好文 时间:
2015-07-06 20:13:00
阅读次数:
188
介绍
这套系统,logstash负责收集处理日志文件内容存储到elasticsearch搜索引擎数据库中。kibana负责查询elasticsearch并在web中展示。
logstash收集进程收获日志文件内容后,先输出到redis中缓存,另一logstash处理进程从redis中读出并转存到elasticsearch中,以解决读快写慢速度不一致问题。...
分类:
其他好文 时间:
2015-06-30 12:55:52
阅读次数:
204
配置OSSECSYSLOG输出(所有agent)编辑ossec.conf文件(默认为/var/ossec/etc/ossec.conf)在ossec.conf中添加下列内容(10.0.0.1为接收syslog的服务器)<syslog_output>
<server>10.0.0.1</server>
<port>9000</port>
<format>default<..
分类:
其他好文 时间:
2015-06-26 13:10:13
阅读次数:
300