GoAccess是一款开源的网站日志实时分析工具。GoAccess的工作方式很容易理解，就是读取和解析Apache/Nginx/Lighttpd的访问日志文件accesslog，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排..
分类：
数据库 时间：
2016-06-17 17:31:23
阅读次数：
276
新服务器需要安装nginx服务 本来查了一堆资料 好像可以直接yum源安装 先看看yum源中nginx的服务 结果centos直接一句话 安装一下 然后看版本 安装成功后查看nginx的访问日志的位置 默认在/var/log/nginx/下面 ...
分类：
其他好文 时间：
2016-06-16 17:35:53
阅读次数：
195
Nginx日志轮询切割默认情况下，Nginx会把所有的访问日志生成到一个指定的访问日志文件access*.log里，但这样一来，时间长了就会导致日志单个文件很大，不利于日志的分析和处理，因此有必要对Nginx日志按天或者按小时等进行分割，具体要看具体线上业务，使其分成不同的文件保存..
分类：
其他好文 时间：
2016-06-07 16:36:46
阅读次数：
254
由于工作需要，最近对tomcat的日志进行了一些研究，发现其日志大致可以分为两类，一类是运行日志，即平常我们所说的catalina.out日志，由tomcat内部代码调用logger打印出来的；另一类是accesslog访问日志，即记录外部请求访问的信息。处理这两类日志，tomcat默认采用了不同的 ...
分类：
数据库 时间：
2016-06-07 12:47:48
阅读次数：
407
logging模块 很多程序都有记录日志的需求，并且日志中包含的信息即有正常的程序访问日志，还可能有错误、警告等信息输出，python的logging模块提供了标准的日志接口，你可以通过它存储各种格式的日志，logging的日志从低到高可以分为 debug(), info(), warning(), ...
分类：
编程语言 时间：
2016-06-06 00:57:06
阅读次数：
160
httpd日志记录客户端请求的域名。正常情况下，根本就没有必要记录这一项，毕竟咱们大都根据虚拟主机来设置相应的访问日志，但也有个别的情况，比如ServerName*.abc.com这样泛解析的形式，所以有必要记录一下用户请求的域名到底是哪个。apache的LogFormat中正好有一项值满足了这..
分类：
Web程序 时间：
2016-06-05 17:17:22
阅读次数：
203
Nginx官方站点：http://nginx.org/解决C10k的问题；能支持较大并发的服务器程序，突破了1万个请求。nginx功能：可以当做静态的web服务器；core模块实现http功能；支持虚拟主机（基于port、hostname、ip方式）；keepalived保持会话访问日志urlrewrite重写路径别名基于ip访问控制..
分类：
其他好文 时间：
2016-05-25 22:40:00
阅读次数：
325
常用模块之logging 用于便捷记录日志且线程安全的模块 对于等级： 只有大于当前日志等级的操作才会被记录。 对于格式，有如下属性可是配置： 很多程序都有记录日志的需求，并且日志中包含的信息即有正常的程序访问日志，还可能有错误、警告等信息输出，python的logging模块提供了标准的日志接口， ...
分类：
编程语言 时间：
2016-05-23 20:58:03
阅读次数：
250
【产生背景】随着公司的ntp中心服务器访问越来越大，access日志也是日益增加，原有的日志没有进行切割，单个日志文过大(最大的有3.7G)，若清理磁盘空间会将访问日志整个删除，这样会丢失很多重要的信息，因此对日志进行切割是很有必要的，这样若日后文件过多，也可以删除历史文..
分类：
Web程序 时间：
2016-05-15 20:08:53
阅读次数：
291
分析日志的包自己编译下：sbt compile
sbt test
sbt package
ApacheLogParser.jar对于访问日志简单分析grep等利器比较好，但是更复杂的查询就需要Spark了。代码：import com.alvinalexander.accesslogparser._
val p = new AccessLogParser
val log = sc.textFile("...
分类：
Web程序 时间：
2016-05-15 02:35:45
阅读次数：
241
