1、定义NGINX错误日志worker_processes1;events{worker_connections1024;}error_loglogs/error.log;#定义日志路径，默认级别为error，配置位置main体里http{includemime.types;default_typeapplication/octet-stream;sendfileon;keepalive_time
分类：
其他好文 时间：
2018-07-16 18:32:14
阅读次数：
187
logstash收集nginx访问日志 安装nginx 浏览器访问：http://192.168.247.135/ 查看nginx日志 编写logstash #添加--configtest参数检查配置语法是否有误！！！[root@elk-node1 ~]# /opt/logstash/bin/log ...
分类：
其他好文 时间：
2018-07-15 21:16:44
阅读次数：
193
7.7 日志清洗案例 7.7.1 简单解析版 1）需求： 去除日志中字段长度小于等于11的日志。 2）输入数据 3）实现代码： （1）编写LogMapper （2）编写LogDriver 7.7.2 复杂解析版 1）需求： 对web访问日志中的各字段识别切分 去除日志中不合法的记录 根据统计需求，生 ...
分类：
其他好文 时间：
2018-07-02 22:06:43
阅读次数：
458
前言：python统计apache、nginx访问日志IP访问次数并且排序（显示前20条）。其实用awk+sort等命令可以实现，用awk数组也可以实现，这里只是用python尝试下。apache脚本：ips = {}
with open("/root/mail_access_log-20180629") as fh:
&nbs
分类：
编程语言 时间：
2018-07-02 00:07:07
阅读次数：
265
nginx日志详解一、nginx日志介绍Nginx日志对于统计、系统服务排错很有用。Nginx日志主要分为两种：access_log(访问日志)和error_log(错误日志)。通过访问日志我们可以得到用户的IP地址、浏览器的信息，请求的处理时间等信息。错误日志记录了访问出错的信息，可以帮助我们定位错误的原因。本文将详细描述一下如何配置Nginx日志。访问日志主要记录客户端的请求。客户端向Ngin
分类：
其他好文 时间：
2018-06-24 13:12:50
阅读次数：
233
Nginx日志主要分为两种：访问日志和错误日志。日志开关在Nginx配置文件（/etc/nginx/nginx.conf）中设置，两种日志都可以选择性关闭，默认都是打开的。 访问日志 访问日志主要记录客户端访问Nginx的每一个请求，格式可以自定义。通过访问日志，你可以得到用户地域来源、跳转来源、使 ...
分类：
其他好文 时间：
2018-06-24 00:45:47
阅读次数：
365
一.配置nginx 二、配置logstash 三、Kibana展示 Head插件查看： ...
分类：
Web程序 时间：
2018-06-22 13:24:14
阅读次数：
214
课程链接：Hadoop大数据平台架构与实践--基础篇 1.MapReduce原理 分而治之，一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce） 问题1:1000副扑克牌少哪一张牌（去掉大小王） 问题2:100GB的网站访问日志文件，找出访问次数最多的IP地址 ...
分类：
其他好文 时间：
2018-06-21 22:31:29
阅读次数：
202
AWStats介绍AWStats是使用Perl语言开发的一款开源日志分析系统，它不仅可用来分析Apache网站服务器的访问日志，也可以用来分析Samba、Vsftpd、IIS等服务的日志信息。结合crond等计划任务服务，可以对不断增长的日志内容定期进行分析。环境：Centos7操作系统服务器IP地址：192.168.100.7已经部署好Nginx服务器(日志目录为：/user/local/ngi
分类：
其他好文 时间：
2018-06-19 23:22:47
阅读次数：
272
前言 wamp在服务器上运行了半年多了。访问网站发现明显的卡顿，平均访问时间在12秒到30秒左右。查看F12的访问网络状态，发现TTFB占用大量时间。删除wamp和apache访问日志仍然无法解决问题。将服务器上的几十万数据导入到本地wamp运行，发现访问数据极快。所以想到重装wamps试一试。重装 ...
分类：
其他好文 时间：
2018-06-19 14:01:01
阅读次数：
328
