日志分析系统 生成环境下有需求：要每搁五分钟统计下这段时间内的网站访问量、UV、独立IP等信息，用直观的数据表格表现出来 环境描述： 网站为Nginx服务，系统每日凌晨会对日志进行分割，拷贝到其他位置，当前日志清空 NGINX日志配置信息 日志access.log示例 221.1.204.218 - ...
分类：
编程语言 时间：
2016-11-15 14:30:48
阅读次数：
191
本课程的基础课程是，Hadoop数据分析平台课程。相信，能看我本博文的朋友，是有一定的基础了。 只是前个课程是讲解，这个课程是应用。 第一层是：数据源层，代表有生产线上的数据，比如关系型数据库orcal，电子商务网站，网站的访问日志。 第二层是：数据仓库或数据集层。 第三层是：数据探索层，如要列出本 ...
分类：
其他好文 时间：
2016-11-07 02:26:16
阅读次数：
372
1.日志分类Nginx日志主要分为两种：访问日志和错误日志。日志开关在nginx配置文件中（nginx.conf）设置，两种日志都可以选择性关闭。1.1访问日志1.1.1简介访问日志主要记录客户端访问nginx的每一个请求，格式可以自定义。通过访问日志，你可以得到用户地域来源、跳转来源、使用..
分类：
其他好文 时间：
2016-11-05 03:22:28
阅读次数：
309
Weblog expert是一个快速和强大的访问日志分析器。这会让你了解你的网站的访客：活动统计，访问的文件的路径，通过该网站，信息指页面，搜索引擎，浏览器，操作系统，和更多。该计划所产生的易于阅读的报告，包括文本信息（表）和图表。 官方网站：http://www.weblogexpert.com ...
分类：
Web程序 时间：
2016-11-01 07:28:28
阅读次数：
201
日志管理 我们观察nginx的server段,可以看到如下类似信息 #access_log logs/host.access.log main; 这说明 该server, 它的访问日志的文件是 logs/host.access.log , 使用的格式”main”格式. 除了main格式,你可以自定义 ...
分类：
其他好文 时间：
2016-10-30 19:16:07
阅读次数：
181
日志对于统计排错来说非常有利的。本文总结了nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、error_log。nginx有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过log_for..
分类：
其他好文 时间：
2016-10-22 01:00:21
阅读次数：
225
在centos6里使用httpd2.2版本，然后在/etc/httpd/conf.d/下定义配置文件反代至后端tomcat服务器，配置完成后重新启动httpd并访问，出现了500的错误代码，查看httpd的错误访问日志，显示如下信息：configurationerror:couldn‘tperformauthentication.AuthTypenotset!:/favicon.i..
分类：
Web程序 时间：
2016-09-26 01:14:21
阅读次数：
287
AWStats是使用Perl语言开发的一款开放性日志分析系统，可分析Apache网站服务器的访问日志，还可以用来分析Samba、Vsftpd、IIS等日志信息。此文章主要讲解如何在linux系统下安装部署关于对Apache网站服务站日志分析的AWStats。实验步骤一，安装部署AWStats分析软件。一，安装AWS..
分类：
系统相关 时间：
2016-09-23 15:14:27
阅读次数：
229
在平时的运维工作中，我们运维人员需要清楚自己网站每天的总访问量、总带宽、ip统计和url统计等。 虽然网站已经在服务商那里做了CDN加速，所以网站流量压力都在前方CDN层了 像每日PV，带宽，ip统计等数据也都可以在他们后台里查看到的。 在这里，还是分享一个很早前用到过的shell统计脚本，可以结合 ...
分类：
Web程序 时间：
2016-09-19 19:27:38
阅读次数：
604
Elasticsearch的数据就存储在硬盘中。当我们的访问日志非常大时，kabana绘制图形的时候会非常缓慢。而且硬盘空间有限，不可能保存所有的日志文件。如果我们想获取站点每天的重要数据信息，比如每天的访问量并希望能图像化的形式显示该如何做呢？一、具体操作方法获取数据之前你..
分类：
其他好文 时间：
2016-09-18 15:49:49
阅读次数：
228
