AWS提供的服务和基础设施能够在云环境中建设可靠，容错和高可用的Web应用程序。在生产环境中，这些应用产生大量的日志信息。这些数据是任何公司运营web应用程序的重要知识来源，分析日志可以揭示信息，如交通模式，用户行为，市场资料等。 然而，作为Web应用程序的增长和的访问者数量的增加，存储和分析网络日志变得越来越具有挑战性。下图展示了如何使用AWS构建一个可扩展且可靠的大规模日志分析平台。该架构的核...
分类：
Web程序 时间：
2015-02-05 20:30:15
阅读次数：
324
Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra,...
分类：
Web程序 时间：
2015-01-13 01:28:23
阅读次数：
278
AWStats是在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。它可以统计您站点的如下信息：访问量（UV），访问次数，页面浏览量（PV），点击数，数据流量等精确到每月、每日、每小时的数据访问者国家访问者IPRobots/Spiders的统计访客持续时间对不同Filestype的统计信..
分类：
其他好文 时间：
2014-10-22 16:05:48
阅读次数：
228
本程序主要实现网页挂马关键字检测，原理是这样的，通过定时分析用户访问的IIS web日志，对日志的里的URL进行访问，然后检索是否包含相关的关键字，有就入库，这只是go实现自动检索及入库，可以加个前端，实现加关...
分类：
Web程序 时间：
2014-10-22 13:01:28
阅读次数：
458
1.背景刚到一家公司需要写一个实时分析tshark捕捉到的数据，tshark一直往文本里面写数据，写一个程序要实时获取到添加的数据并进行分析处理最后入库。此时思绪狂飞，想了一些比较挫的方法。本人想到的方法:1.每隔一定时间去查看下文件的mtime，如果有改动则读取数据，并记录读..
分类：
编程语言 时间：
2014-07-23 21:20:06
阅读次数：
361
