介绍 GoAccess是一个开源的 实时网络日志分析器 和 交互式查看器 ,可以在 nix 系统或通过 浏览器 的终端中运行。 它为需要动态可视化服务器报告的系统管理员提供 快速 且有价值的 HTTP统计 信息。 特征 GoAccess的一些功能 1.实时输出 2.允许任何自定义日志格式字符串 3. ...
分类:
数据库 时间:
2020-02-13 23:00:42
阅读次数:
107
网站的访问日志是一个非常重要的文件,通过分析访问日志,能够挖掘出很多有价值的信息。本文介绍如何利用Python对一个真实网站的访问日志进行分析,文中将综合运用Python文件操作、字符串处理、列表、集合、字典等相关知识点。本文所用的访问日志access_log来自我个人的云服务器,大家可以从文末的附件中下载。1.提取指定日期的日志下面是一条典型的网站访问日志,客户端访问网站中的每个资源都会产生一条
分类:
编程语言 时间:
2020-02-07 20:41:10
阅读次数:
109
Linux中很多应用程序日志即使每天做日志切割还是会很大 这是对日志文件进行切割在进行分析会更好 我们可以使用split命令对日志进行切割操作 split命令:将指定文件切割成小文件 -d:使用数字作为文件的后缀(默认以字母作为后缀) -b:指定切割文件的大小(默认单位是字节) -l:指定切割的行数 ...
分类:
系统相关 时间:
2020-02-06 19:28:38
阅读次数:
66
1. MyBatis 没有提供日志实现,需要接入第三方的日志组件,但是第三方的日志组件都各自的Log级别,而不相同 实现方式:适配器模式 Slf4jImpl 2. 自动扫描日志实现,并且第三方日志插件加载优先级如下:slf4j > commonsLoging > Log4J2 > Log 4j > ...
分类:
其他好文 时间:
2020-02-05 20:36:41
阅读次数:
79
处理过线上问题的同学基本上都会遇到系统突然运行缓慢,CPU 100%,以及Full GC次数过多的问题。 当然,这些问题的最终导致的直观现象就是系统运行缓慢,并且有大量的报警。 本文主要针对系统运行缓慢这一问题,提供该问题的排查思路,从而定位出问题的代码点,进而提供解决该问题的思路。 对于线上系统突 ...
分类:
其他好文 时间:
2020-01-22 13:14:56
阅读次数:
83
以下文字版根据《大咖·来了》第3期《海量日志分析与智能运维》整理,回放链接:http://aix.51cto.com/activity/10011.html?dk=wz一、AIOps与智能日志中心1.1AIOps五等级要说智能日志中心,首先要了解什么是智能运维。目前业界对智能运维的运用,主要分为如下五个等级。一级是最容易的,只要你有个想法试试就行,到网管监控系统里,拿一个监控指标的曲线下来,就可以
分类:
其他好文 时间:
2020-01-17 11:30:03
阅读次数:
73
一次博客崩溃日志分析 自从买了腾讯云,瞎倒腾了很多东西,搭建了MySQL,redis,zk等等,然后自己尝试搭建了博客,并设置了守护进程。 昨天开始突然莫名其妙的,总是服务重启。 进入系统后,通过top指令发现cpu总是突然飙升到99%。之后博客就挂掉了。然后cpu就降下来了。感觉像是被系统kill ...
分类:
其他好文 时间:
2020-01-13 23:50:20
阅读次数:
95
1.ELK诞生背景 1.没有日志分析工具之前,运维工作存在哪些痛点? 2.使用ELK日志分析系统之后? ...
分类:
其他好文 时间:
2020-01-13 22:02:44
阅读次数:
90
1. ES集群安装 准备1台虚拟机 部署elasticsearch第一个节点 访问9200端口查看是否安装成功 1ELK是日志分析平台,不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写,ELK分别代表: Elasticsearch:负责日志检索和储存 Logstash:负责日志的收集和分 ...
分类:
其他好文 时间:
2020-01-13 10:51:29
阅读次数:
82
import datetime import re #def convert_time(timestr): # return datetime.datetime.strptime(timestr, "%d/%b/%Y:%H:%M:%S %z") #def convert_request(reques ...
分类:
编程语言 时间:
2020-01-10 17:14:20
阅读次数:
91