本文分三个部分介绍了elk、elk安装配置及基于filebeat分析nginx日志的配置。第一部分：elk介绍一、什么是elkELK其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写，Elasticsearch，Logstash和Kibana。这三款软件都是开源软件，通常是配合使用。二、Elastics..
分类：
其他好文 时间：
2016-09-03 15:13:45
阅读次数：
468
本文主要介绍kibana4的基本操作，nginx日志分析饼形图、柱形图、客户端地理位置分布图等相关图表创建。一、kibana基本操作1.面板介绍Settings：创建索引Discover：查询数据，选择左上角的下拉按钮，可以选择相应的索引查找数据Visualize：统计图表Dashboard：显示面板，添加相..
分类：
其他好文 时间：
2016-09-03 15:10:59
阅读次数：
1520
需要安装GeoIP,ncurses,glib2,一句搞定yum-yinstallglib2glib2-develncursesncurses-develgeoIPgeoIP-devel如果你是centos，使用yum：yuminstallgoaccess3vim/etc/goaccess.conf添加一下内容:time-format%Tdate-format%d/%b/%Ylog-format%h%^[%d:%t%^]“%r”%s%b“%R”“%u”4..
分类：
数据库 时间：
2016-08-03 15:45:32
阅读次数：
249
logstash配置文件#nginx_log.confinput{file{type=>"nginx_log"path=>"/opt/nginx/logs/access.log"}}filter{if[type]=="nginx_log"{grok{match=>{"message"=>"%{NGINXACCESS}"}}if([message]=~"^*launcher*|^*favicon*"){drop{}}geoip{source=>"remote_addr"ta..
分类：
其他好文 时间：
2016-06-16 13:28:06
阅读次数：
443
实际工作中，恰好需要处理一个nginx日志，做个简单的分析：引子：开发已经有日志分析平台和工具，但为了查一个问题，需要分析原始日志。要求：原始日志的倒数第二个字段不为空且不为‘-‘的情况下，统计倒数第四个字段不为空且不为‘-‘的且不重复的个数。python脚本如下：#!/usr/b..
分类：
编程语言 时间：
2016-05-08 20:05:55
阅读次数：
786
面试的时候一定会被面到的问题是：给出web服务器的访问日志，请写一个脚本来统计访问前10的IP有哪些？访问前10的请求有哪些？当你领略过goaccess之后，你就明白，这些问题，除了考验你的脚本背诵记忆能力以外，唯一的作用只有装A或者装C了。 对于nginx日志分析，有很多工具，衡量好坏的标准大概就 ...
分类：
数据库 时间：
2016-04-21 11:43:45
阅读次数：
337
Nginx中日志文件的格式在nginx.conf中定义，其默认格式如下: #vim /usr/local/nginx/conf/nginx.conf log_format access ‘$remote_addr – $remote_user [$time_local] “$request” ‘‘$ ...
分类：
其他好文 时间：
2016-04-18 15:36:45
阅读次数：
165
环境：
OS：
Linux:Linuxversion2.6.32-431.el6.x86_64(mockbuild@c6b8.bsys.dev.centos.org)x
Build:(gccversion4.4.720120313(RedHat4.4.7-4)(GCC))x
Release:2.6.32-431.el6.x86_64x
Version:#1SMPFriNov2203:15:09UTC2013x
cpuinfo:GenuineIntelIntel(R)Core(TM)i3CPU M38..
分类：
编程语言 时间：
2016-04-10 19:35:22
阅读次数：
252
1.$3匹配到fangdd.com,打印改行所有内容awk‘{if($3==fangdd.com)print$0}’filename2.匹配到fangdd.com后打印改行的$1awk‘/fangdd.com/{print$1}‘filename3.匹配到$3为404后打印改行的$1awk‘$3==404{print$1}‘filename4.打印出Nignx的时间,域名,URL,IP,并以IP排序,取唯一awk‘{p..
分类：
其他好文 时间：
2015-11-21 07:14:47
阅读次数：
249
logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后...
分类：
其他好文 时间：
2015-11-05 10:51:47
阅读次数：
291
