概述做日志分析工作的经常需要跟成千上万的日志条目打交道，为了在庞大的数据量中找到特定模式的数据，常常需要编写很多复杂的正则表达式。例如枚举出日志文件中不包含某个特定字符串的条目，找出不以某个特定字符串打头的条目，等等。使用否定式前瞻正则表达式中有前瞻（Lookahead）和后顾（Lookbehind...
分类：
其他好文 时间：
2015-05-29 22:57:00
阅读次数：
198
1.初步分离业务系统在运行期间会抛出来一些运行期异常日志，监控这些日志，过滤多余其它日志，然后给予相应owner告警就成为异常监控的目标之一。logstash配置如下：input {file {type => "exception"path => "/Users/xxxxx/Documents/xx...
分类：
其他好文 时间：
2015-05-29 22:55:28
阅读次数：
226
1.http请求参数分离请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。kv{ source=>"request" field_split=>"?"}2.垃圾日志清理静态页面里面...
分类：
其他好文 时间：
2015-05-29 21:42:20
阅读次数：
205
日志格式：
118.78.199.98–-[09/Jan/2010:00:59:59+0800]“GET/Public/Css/index.cssHTTP/1.1″304–
“http://www.a.cn/common/index.php”“Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1;SV1;GTB6.3)”
访问次数最多的10个IP：
awk‘{print$1}‘apache_log|sort|uniq-c|s..
分类：
Web程序 时间：
2015-05-29 18:29:00
阅读次数：
201
需求：对nginx的access.log日志分析，要求最近100次请求中状态值不是200的百分比。日志格式如下：192.168.123.6--[26/May/2015:23:44:21+0800]"GET/get_seller_info&format=jsonHTTP/1.1"20034679"-""Dalvik/1.6.0(Linux;U;Android4.4.4;MX4ProBuild/KTU84P)""-""3.562"思..
分类：
其他好文 时间：
2015-05-27 16:04:59
阅读次数：
210
如题，分析首先最简单的取出ipcd/usr/local/nginx/logs
awk‘{print$1}‘access.log|sort|uniq-c|sort-rn|head-n50|awk‘{print$2}‘>/root/list
#在nginx/apache下执行上述代码。把ip写到list列表然后思路就是把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的#!/bi..
分类：
数据库 时间：
2015-05-26 19:05:22
阅读次数：
334
在使用goaccess对squid访问日志进行分析,squid访问日志配置如下：logformatcombined%>a%[ui%[un[%tl]"%rm%ruHTTP/%rv"%>Hs%<st"%{Referer}>h""%{User-Agent}>h""-"%tr
#logformatcombined%>a%[ui%[un[%tl]"%rm%ruHTTP/%rv"%>Hs%<st"%{Referer}>h""%..
分类：
其他好文 时间：
2015-05-14 12:19:05
阅读次数：
340
方案一：保存到日志文件中或者保存到document db(如mongodb)都是一个优秀的解决方案。保存到日志的话相对占用容量较少，不过需要自己写脚本分析日志。保存到document db的话相对占用容量较大，不过db自身提供多种查询解决方案可以很方便快速的查询自己想要的结果统计信息对于实效性要求都...
分类：
其他好文 时间：
2015-05-14 09:57:29
阅读次数：
123
确定时间范围—快速搜索—IP地址过滤、类型过滤、状态过滤—确定攻击—分析攻击确定特征文件—特征过滤—IP地址搜索、时间搜索、状态搜索—确定范围和时间—分析攻击IIS6.0日志文件默认位置：%systemroot%\system32\logfiles\w3svc1\，默认每天一个日志；date：日期 ...
分类：
其他好文 时间：
2015-05-13 21:34:06
阅读次数：
198
AWStats是一个免费、功能强大、特性丰富的日志分析工具，它能分析由WEB、STREAMING、FTP、MAIL等服务生成的日志，并生成先进的统计图表。AWStats作为CGI或从命令行运行，在数个图形网页中显示你日志中包含的所有可能信息。它利用一部分档案资料就能经常很快地处理大量日志档案..
分类：
其他好文 时间：
2015-05-13 06:28:15
阅读次数：
177
