nginx的日志一直是写在一个文件上面，运行久了之后文件会非常大，因此我们有必要对nginx的日志进行分割：1234567891011#! /bin/bashACCESS_LOG=/data/nginx/www.logERROR_LOG=/data/nginx/error.logYESTERDAY=...
分类：
其他好文 时间：
2014-08-02 12:44:53
阅读次数：
237
前言：早晨磁盘报警刚清空完tomcat和nginx日志，使用的命令是类似echo "" > show_web-error.log或者> show_web-debug.log清空语句，然后rm -rf 掉一些tar.gz包，空出来30G空间。而且也关闭了tomcat的debug信息。刚刚又接到报警，磁盘100%了。怎么回事？?1，进去df -h下，确实100%了，如下所示：[root@localho...
分类：
其他好文 时间：
2014-07-31 09:51:43
阅读次数：
310
最近有个业务建表使用了RegexSerDe，之前虽然也它来解析nginx日志，但是没有做深入的了解。这次看了下其实现方式。建表语句：CREATEexternalTABLEods_cart_log
(
time_localSTRING,
request_jsonSTRING,
trace_id_numSTRING
)
PARTITIONEDBY
(
dtstring,
hourstring
)
ROWFORMA..
分类：
其他好文 时间：
2014-07-31 03:11:15
阅读次数：
226
ngx_log_if是Nginx的一个第三方模块。它在Github上的描述是这样介绍的：ngx_log_if是一个独立的模块,允许您控制不要写的访问日志,类似于Apache的"CustomLog env = XXX"...
分类：
其他好文 时间：
2014-07-24 23:38:03
阅读次数：
198
基本介绍程序开发者常常要分析程序日志，包括自己打印的日志及使用的其他软件打印的日志，如php,nginx日志等，linux环境下分析日志有一些内置命令能够使用，如grep,sort,uniq,awk等，当中最强大的是awk，是作为一门小巧的文本处理语言存在的，但由于它是一门语言，功能强大，但在命令行...
分类：
数据库 时间：
2014-07-22 22:39:55
阅读次数：
374
#!/usr/bin/perl
#?name:?logcalc.pl
#?calc?the?amount?of?access?url
use?strict;
use?warnings;
use?diagnostics;
use?File::Basename;
my?($arg,?$arg_only);
my?$FILE;
my?($year,?$mo...
分类：
其他好文 时间：
2014-07-22 08:13:36
阅读次数：
221
#!/bin/sh
if [ -r $1 ]; then
? ? #Delete Baiduspider
? ? baidu=$(grep -c ‘Baiduspider‘ $1)
? ? if [ $baidu -gt 0 ]; then
? ? ? ? sed -i ‘/Baiduspider/d‘ $1
? ? ? ? echo "match Baidus...
分类：
其他好文 时间：
2014-07-21 10:19:23
阅读次数：
259
程序开发人员经常要分析程序日志，包括自己打印的日志及使用的其它软件打印的日志，如php,nginx日志等，linux环境下分析日志有一些内置命令可以使用，如grep,sort,uniq,awk等，其中最强大的是awk，是作为一门小巧的文本处理语言存在的，但由于它是一门语言，功能强大，但在命令行下使用并不那么方便，因为awk是面向计算而不是面向统计的。awk可以定义变量，可以进行计算，命令行下就是一...
分类：
数据库 时间：
2014-07-09 13:02:58
阅读次数：
279
昨天参与做的线上项目上线了，看了下log文件居然还没有分割，考虑到可能导致log文件很大造成性能下降，赶紧做了下日志分割。Linux下有个logrotate工具可以协助日志分割，只需要配置一下参数就可以了，非常方便，于是采用这种方式直接配置了一下。我是用来做nginx日志文件分割的，我的配置文件如下...
分类：
其他好文 时间：
2014-06-27 19:06:35
阅读次数：
179
有朋友问我，如何关闭nginx中favicon.ico、robots.txt日志记录，不允许访问某些隐藏文件。其实，有个favicon.ico挺好的，当网页放到任务栏上可以区分出自己的网站，对用户体验也不错。另外就是robots.txt文件用好了，对屏蔽恶意收录是很有帮助的。nginx日志最近发生大...
分类：
其他好文 时间：
2014-05-30 06:47:05
阅读次数：
277
