日志分析基础________________________________________补充知识：________________________________________1、sed：处理缓冲区中的字符串，然后输出的标准输出。(1)行单位增删 sed ‘2,7d’ 但是删除，2起始行，7结 ...
分类：
其他好文 时间：
2017-11-21 01:10:49
阅读次数：
156
一、概述 正则表达式是运维工作中经常需要用到的知识。文件查找，日志分析，rewrite规则，shell脚本等等，都需要正则表达式的知识。那么什么是正则表达式呢？我的理解就是，按照一定的规则找到或者替换你需要的字符串，这个规则就是正则表达式，准确的讲，它就是一个规则。使用正则表达式的命令有很多，我们今 ...
分类：
系统相关 时间：
2017-11-20 13:27:58
阅读次数：
173
cat -n access.log -n打印行号 more access.log 空格-下一页、回车-下一行、F-下一屏，百分比的下一个、B-上一屏 less access.log /查找 tail -n2 access.log -n2显示最后2行 -f监控最后追加的内容 head -n2 acce... ...
分类：
其他好文 时间：
2017-11-15 22:04:44
阅读次数：
199
预备环境：系统：CentOSLinuxrelease7.3.1611(Core)JDK：jdk1.8.0_144ES：elasticsearch-5.5.1索引管理：cerebro-0.6.5Logstash：logstash-5.5.1Kibana：kibana-5.5.1一、JAVA环境设置#tarxfjdk-8u144-linux-x64.tar.gz-C/data/app/#cat>>/etc/profile<<EOF#JDK1.8..
分类：
其他好文 时间：
2017-11-15 21:44:12
阅读次数：
223
目的介绍：用python脚本对nginx的access_log日志分析，获取到每个IP的访问次数，将IP和访问次数构建一个字典，最后对字典排序输入。#!/usr/bin/envpython
#-*-coding:utf8-*-
"""
分析Nginx等Web应用访问IP信息并将其访问数量从大到小排序
"""
ip_list=[]#定义空列表所有的访问..
分类：
编程语言 时间：
2017-11-15 21:42:43
阅读次数：
1596
1.确认apache已经安装：netstat-utpln|grep802.下载与解压：lftpftp.linuxyy.cn-->cdtools-->getawstats-7.3.tar.gztarzxvfawstats-7.3.tar.gzmvawstats-7.3/usr/local/awstats3.配置awstats：cd/usr/local/awstats/toolschmod+x./*./awstats_configure.pl#####开始配置#..
分类：
其他好文 时间：
2017-11-14 15:32:13
阅读次数：
168
logstash简介：logstash日志分析的配置和使用logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式）..
分类：
其他好文 时间：
2017-11-10 18:43:56
阅读次数：
140
使用linux系统时，占用cpu资源过高和，用脚本排查： 1，实时监控，一旦有cpu占用高的进程，程序启动； 2，再对进程分析，得出对应线程； 3，对对应线程所在的程序日志文档进行分析，比如Websphere中间件就有很详备的文件系统； 4，对于日志文件中error，worning等详细查看，但由于 ...
分类：
系统相关 时间：
2017-11-10 01:38:37
阅读次数：
286
日志分析代码实现(正则表达式)思路使用正则表达式处理:
使用正则提取对应内容
每段数据转换为对应格式
精简代码,异常处理,代码效率检查importdatetimeimportrelogline=‘‘‘183.60.212.153--[19/Feb/2013:10:23:29+0800]\"GET/o2o/media.html?menu=3HTTP/1.1"20016691"-"\"Mozill..
分类：
其他好文 时间：
2017-11-09 22:45:15
阅读次数：
167
日志分析代码实现(字符串切割)思路不使用正则表达式处理:
进行字符串切割
将[]和"括起的内容特殊处理
将每段数据转换为对应格式
代码精简,代码效率检查importdatetime#目标日志logline=‘‘‘183.60.212.153--[19/Feb/2013:10:23:29+0800]\"GET/o2o/media.html?menu=3HTTP/1.1"200..
分类：
其他好文 时间：
2017-11-09 22:32:42
阅读次数：
97
