一、项目要求
本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、nginx、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。
二、需求分析： KPI指标设计
PV(PageView): 页面访问量统计
IP: 页面独立IP的访问量统计
...
分类：
其他好文 时间：
2014-06-15 10:25:49
阅读次数：
395
======博主所学知识来着于恩师马哥的亲授======
马哥教育“2014夏令营”开始啦！！！马哥教育是目前性价比最高的Linux培训，国内好评度排名第一，并被网友称为Linux界的"黄埔军校"，全部课程采用Centos6.5x86_64讲解，经过几期网络班的总结和锤炼，逐渐完善的课程体系，学员学习进度监督和优质的考试系统检验学员掌握程度，活跃的在线答疑环节，名师陪伴，牛人指点，精彩不容错过。...
分类：
其他好文 时间：
2014-06-15 08:19:37
阅读次数：
409
查看哪个IP访问量大，访问了什么地址，大可以看到攻击者IP：select c-ip,count(c-ip) AS allcount,cs-uri-stem,cs-uri-query,cs(User-Agent)from#IISW3C# WHERE to_string(date,'yyyy-MM-dd...
分类：
其他好文 时间：
2014-06-15 07:55:08
阅读次数：
300
是不是常常要分析用户的行为？是不是常常遇到多台服务器上传的日志一起分析？是不是对数据统计的间隔时间要求很短？还有木有因为日志文件过大，而需要分块处理？
1、说明一点在日志写入的时候必须按照一种严格的格式，这样在做解析的时候，才好切割。比如 gameid：123 gameid：2333。切割统一标准就行。
2、在生成日志的文件名的时候也要按照一定规则，在分析的时候，正则表达式好匹配，如 服务器hostname_date.log 这样在匹配的时候 只需要 glob（*—date.log）; //glob...
分类：
数据库 时间：
2014-06-08 10:38:43
阅读次数：
335
Elasticsearch中如何进行CRUD呢？...
分类：
其他好文 时间：
2014-06-05 00:22:29
阅读次数：
274
前言：此文接的是上篇，上次的内容是，用python操作elasticsearch存储，实现数据的插入和查询。估计有些人一看我的标题，以为肯定是logstashkibanaelasticsearch的组合。这三个家伙也确实总是勾搭在一块。其实logstash是可以被别的替换，比如常见的fluented。剩下的那两个，kib..
分类：
其他好文 时间：
2014-06-02 07:50:29
阅读次数：
337
前言：例行公事，有些人可能不太了解elasticsearch，下面搜了一段，大家瞅一眼。Elasticsearch是一款分布式搜索引擎，支持在大数据环境中进行实时数据分析。它基于ApacheLucene文本搜索引擎，内部功能通过ReSTAPI暴露给外部。除了通过HTTP直接访问Elasticsearch，还可以通过支..
分类：
编程语言 时间：
2014-06-01 13:47:42
阅读次数：
328
Hadoop的核心处理模块是MapReduce，也是当前最流行的大数据处理架构之一。它能够将Hadoop数据存储无缝的融入到数据处理当中，使得它在操作上足够简单，功能上足够强大。MapReduce已经解决很多实际问题（从日志分析，到数据排序，到文本操作，到基于模式的搜索，到图像处理，到机器学习等等）...
分类：
其他好文 时间：
2014-05-27 00:14:28
阅读次数：
449
Elasticsearch is a powerful open source search
and analytics engine. The vulnerability allows attackers read from or append to
files on the system hos...
分类：
其他好文 时间：
2014-05-25 16:40:56
阅读次数：
349
原理
这个漏洞实际上非常简单，ElasticSearch有脚本执行(scripting)的功能，可以很方便地对查询出来的数据再加工处理。
ElasticSearch用的脚本引擎是MVEL，这个引擎没有做任何的防护，或者沙盒包装，所以直接可以执行任意代码。
而在ElasticSearch里，默认配置是打开动态脚本功能的，因此用户可以直接通过http请求，执行任意代码。
其实官方是清楚这个漏洞...
分类：
其他好文 时间：
2014-05-24 18:04:15
阅读次数：
223
