一、项目要求
本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、nginx、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。
二、需求分析： KPI指标设计
PV(PageView): 页面访问量统计
IP: 页面独立IP的访问量统计
...
分类：
其他好文 时间：
2014-06-15 10:25:49
阅读次数：
395
======博主所学知识来着于恩师马哥的亲授======
马哥教育“2014夏令营”开始啦！！！马哥教育是目前性价比最高的Linux培训，国内好评度排名第一，并被网友称为Linux界的"黄埔军校"，全部课程采用Centos6.5x86_64讲解，经过几期网络班的总结和锤炼，逐渐完善的课程体系，学员学习进度监督和优质的考试系统检验学员掌握程度，活跃的在线答疑环节，名师陪伴，牛人指点，精彩不容错过。...
分类：
其他好文 时间：
2014-06-15 08:19:37
阅读次数：
409
查看哪个IP访问量大，访问了什么地址，大可以看到攻击者IP：select c-ip,count(c-ip) AS allcount,cs-uri-stem,cs-uri-query,cs(User-Agent)from#IISW3C# WHERE to_string(date,'yyyy-MM-dd...
分类：
其他好文 时间：
2014-06-15 07:55:08
阅读次数：
300
是不是常常要分析用户的行为？是不是常常遇到多台服务器上传的日志一起分析？是不是对数据统计的间隔时间要求很短？还有木有因为日志文件过大，而需要分块处理？
1、说明一点在日志写入的时候必须按照一种严格的格式，这样在做解析的时候，才好切割。比如 gameid：123 gameid：2333。切割统一标准就行。
2、在生成日志的文件名的时候也要按照一定规则，在分析的时候，正则表达式好匹配，如 服务器hostname_date.log 这样在匹配的时候 只需要 glob（*—date.log）; //glob...
分类：
数据库 时间：
2014-06-08 10:38:43
阅读次数：
335
Hadoop的核心处理模块是MapReduce，也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中，使得它在操作上足够简单，功能上足够强大。MapReduce已经解决很多实际问题（从日志分析，到数据排序，到文本操作，到基于模式的搜索，到图像处理，到机器学习等等）...
分类：
其他好文 时间：
2014-05-27 00:14:28
阅读次数：
449
1.SARG介绍SARG的全称是：SquidAnalysisReportGeneratorSARG非常好用的Squid日志分析工具,它输出html格式,可以详细列出了每一位用户访问internet的站点信息,时间占用信息,排名,连接次数,访问量,访问量等.软件的主页：http://sarg.sourceforge.net/sarg.php目前最新的版本是sarg..
分类：
其他好文 时间：
2014-05-16 02:22:00
阅读次数：
393
最近做日志分析，发现logstash较符合自己的需求，Logstash：做系统log收集，转载的工具。同时集成各类日志插件,对日志查询和分析的效率有很大的帮助.一般使用shipper作为log收集、indexer作为log转载.Logstashshipper收集log并将log转发给redis存储Logstashindexer从redis中读..
分类：
其他好文 时间：
2014-05-15 00:42:49
阅读次数：
655
#!/usr/bin/envpython#coding:utf8importos,sysimportdatetime,shutil,subprocessfromconfig.configimportslow_configclasscut_mysql(object):mysql_user,mysql_pass,date_day,slow_log_name,slow_log_path,mysqlsla_log_name,mysqldumpslow_log_name,new_log_path,new_log_nam..
分类：
数据库 时间：
2014-05-13 02:39:47
阅读次数：
482
简介通常日志管理是逐渐崩溃的——当日志对于人们最重要的时候，也就是出现问题的时候，这个渐进的过程就开始了。日志管理一般会经历一下3个阶段：初级管理员将通过一些传统工具（如cat、tail、sed、awk、perl以及grep）对日志进行检查，但它的适用范围仅限于少量的主机和日志文件类型；考虑到现实中...
分类：
其他好文 时间：
2014-05-09 08:18:10
阅读次数：
651
在AIX中，errpt用于报告系统软硬件相关的错误日志信息，errpt命令将从错误日志中的条目生成一个错误报告，但是它并不进行错误日志分析；对于错误分析，可以使用diag命令，不带参数简单列出所有的错误，root@ptdb1:/#errptIDENTIFIERTIMESTAMPTCRESOURCE_NAMEDESCRIPTIONE87EF1B..
分类：
其他好文 时间：
2014-05-08 02:24:11
阅读次数：
429
