import datetime import re #def convert_time(timestr): # return datetime.datetime.strptime(timestr, "%d/%b/%Y:%H:%M:%S %z") #def convert_request(reques ...
分类：
编程语言 时间：
2020-01-10 17:14:20
阅读次数：
91
（本文已不再同步更新，最新代码请见github）日志分析在web系统中故障排查、性能分析方面有着非常重要的作用。目前，开源的ELK系统是成熟且功能强大的选择。但是部署及学习成本亦然不低，这里我实现了一个方法上相对简单（但准确度和效率是有保证的）的实现。另外该脚本的侧重点不是通常的PV，UV等展示，而是短期内（如三天历史or一周历史）提供细粒度的异常和性能分析。先说一下我想实现这个功能的驱动力（痛点
分类：
数据库 时间：
2018-03-02 12:36:10
阅读次数：
252
程序员经常会面临日志的分析工作。而正则表达式是处理日志的必备工具。 比如，对于上面的日志，需要找到日志时间，并且要找到对应格式的数据。这里面包含的问题主要包括： 针对匹配工作，需要找到开头是 'Line' 的行。用到re的search()函数。 匹配结果如下 针对分割工作，需要找到日志时间。观察上述 ...
分类：
编程语言 时间：
2017-08-17 10:34:08
阅读次数：
262
通过python执行shell命令的方法有4种，在这里介绍一种常用的。os.system、os.popen、commands、subprocess接下来介绍subprocess的使用通过python日志分析，获取到攻击源IP地址，收集写入到mysql数据库中mysql如下：iptables.py脚本#!/usr/bin/envpython#-*-coding:utf-8-*-impo..
分类：
编程语言 时间：
2017-06-30 17:08:41
阅读次数：
246
1.nginx防止ddos攻击最终版2.zabbix监控nginx3.自动化安装nginx4.elk5.python日志分析6.深入性能优化7.故障分析8.原理方面9.docker10.四层和七层对比11.lua12.灰度发布
分类：
其他好文 时间：
2017-03-21 20:11:05
阅读次数：
108
微秒毫秒datetimeseek定位指针从行尾到行首fd.seek(-2,1)1当前位置fd.tell()fd.seek(-2,2)2最后位置fd.tell()fd.seek(0,0)0最前位置read（1）读一位read（）全部都读tac与cat行首到行尾reversed翻转字符串只读一部分通过时间判断200404503十分钟之内第八列apache.log1.首先匹配..
分类：
编程语言 时间：
2014-07-17 08:20:15
阅读次数：
466
