1、前言 今天在处理一个客户问题,遇到Nginx access log中出现大量的499状态码。实际场景是:客户的域名通过cname解析到我们的Nginx反向代理集群上来,客户的Web服务是由一个负载均衡提供外网IP进行访问,负载均衡后面挂了多个内网web站点业务服务器。出现的访问日志如下所示: 2 ...
分类:
Web程序 时间:
2017-06-25 23:58:50
阅读次数:
695
1.日志文件的默认存放位置 默认的日志文件存放位置在:nginx/logs/ 文件夹下,logs文件夹下有:access.log error.log nginx.pid 文件 2.nginx.conf 中的日志 配置 nginx.conf中是将日志文件的配置注释掉的,如下: #access_log ...
分类:
其他好文 时间:
2017-06-25 01:10:28
阅读次数:
113
本文继成上一篇通过hive分析nginx日志文章,详情参考下面链接: http://www.cnblogs.com/wcwen1990/p/7066230.html 接着来: 创建业务子表: drop table if exists chavin.nginx_access_log_comm; cre ...
分类:
其他好文 时间:
2017-06-24 20:52:00
阅读次数:
780
django 1.5的settings.py 里面默认的时区设置与1.8的默认不一样 1.8下默认TIME_ZONE = 'UTC' 如果部署到Apache上,access.log下时间如 [23/Jun/2017:04:15:05 +0000] 那么与本地时区不一致, 改成TIME_ZONE = ...
分类:
Web程序 时间:
2017-06-24 12:31:06
阅读次数:
167
直接上方法:看上图,以tomcat的localhost_access_log.2017-06-21.txt日志为例,输出的最后一个字段就是耗时,这个可以过滤大于多少的耗时有多少来进行统计。动态过滤:tail-flocalhost_access_log.2017-06-21.txt|awk-F""‘$NF>1.000{print$NF}‘详解:awk-F""‘$NF>1.000{..
分类:
系统相关 时间:
2017-06-21 20:03:12
阅读次数:
762
以下代码用Pyspark+IPython完成统计日志空行的数量:读取日志,创建RDD:myrdd=sc.textFile("access.log")不使用累加器:In[68]:s=0
In[69]:deff(x):
...:globals
...:iflen(x)==0:
...:s+=1
...:
In[70]:myrdd.foreach(f)
In[71]:print(s)得出结果为:0原因是python的变量,即..
分类:
其他好文 时间:
2017-06-21 19:50:47
阅读次数:
150
以下是Nginx日志的一个server段的配置,其中的access_log便是标记Nginx日志目录,紧随其后的main是日志格式 从配置文件的还可以看到具体main日志格式的定义,当然 ,我们也可以自定义: 上面的main具体包含以下内容: ...
分类:
其他好文 时间:
2017-06-14 22:24:19
阅读次数:
147
题目假设Apache产生的日志文件名为access_log,在apache正在运行时,执行命令mvaccess_logaccess_log.bak,执行完后,请问新的apache的日志会打印到哪里,为什么?解答:新的日志会打印在access_log.bak中,因为apache启动时会找access_log文件,随时准备向文件中加入日志信息,虽然..
分类:
数据库 时间:
2017-06-14 16:38:06
阅读次数:
146
tac/data1/logs/nginx-access_2017061115.log|awk‘BEGIN{"date-d\"-10minute\"+\"%H:%M:%S\""|getlinemin10ago}{if(substr($4,14)>min10ago)print$0;elseexit}‘|tac
分类:
其他好文 时间:
2017-06-11 23:36:41
阅读次数:
158
#!/bin/bash#Nginx的log日志目录log_path=‘/opt/app/nginx/logs/‘#Nginx的pid文件存放目录pid_path="${log_path}nginx.pid"#清理掉指定日期前的日志DAYS=60#生成昨天的日志文件#若指定10天前date-d"10dayago2017-06-08"+%Y-%m-%dmv${log_path}access.log${log_path}access_$(da..
分类:
其他好文 时间:
2017-06-09 09:59:26
阅读次数:
159