Hadoop 提取KPI 进行海量Web日志分析Web日志包含着网站最重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最有价值等。一般中型的网站(10W的PV以上)，每天会产生1G以上Web日志文件。大型或超大型的网站，可能每小时就会产生10G的数据量。
Web日志分析概述
需求分析：KPI指标设计
算法模型：Hadoop并行算法
架构设计：日志KPI系统架构
程序...
分类：
Web程序 时间：
2016-05-13 15:17:54
阅读次数：
274
大家进行网站日志分析的时候，常见到很多不同IP段的百度蜘蛛，为了方便大家更好的进行日志分析，下面列举了百度不同IP段常见蜘蛛的一些详情情况，及所谓的降权蜘蛛，沙盒蜘蛛，高权重蜘蛛等等
下面的百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度竞价蜘蛛
61.135.165.134
11...
分类：
其他好文 时间：
2016-05-13 00:13:03
阅读次数：
2972
本节讨论的是 nova 相对较简单的操作： reboot 和 lock/unlock。
我首先会讲解这几个操作的理论知识，然后将日志分析留给大家来完成。
大家在分析过程中如有任何疑问，可以给我留言。...
分类：
其他好文 时间：
2016-05-12 11:39:43
阅读次数：
117
awstats作为一款日志分析软件，功能不错，但是界面过于简单，也没有图表功能，这里我采取了一种变通的方法，将awstats的分析结果（pv、hits（文件数）、bandwidth、visits（独立ip））添加到zabbix，并通过zabbix生成趋势图表。在前两篇文章中，我们队awstats的使用及其工作方..
分类：
编程语言 时间：
2016-05-12 00:06:25
阅读次数：
665
1、日志简介 nginx日志主要有两种：访问日志和错误日志。访问日志主要记录客户端访问nginx的每一个请求，格式可以自定义；错误日志主要记录客户端访问nginx出错时的日志，格式不支持自定义。两种日志都可以选择性关闭。 通过访问日志，你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相 ...
分类：
其他好文 时间：
2016-05-11 18:03:24
阅读次数：
239
前面CloudMan通过日志详细分析了nova的launch,shutoff和start操作。不知道大家现在是否已经掌握了日志分析的技能？今天咱们就来检验一下。本节讨论的是nova相对较简单的操作：reboot和lock/unlock。我首先会讲解这几个操作的理论知识，然后将日志分析留给大家来完成。大家在分..
分类：
其他好文 时间：
2016-05-11 11:34:50
阅读次数：
183
前面 CloudMan 通过日志详细分析了 nova 的 launch, shut off 和 start 操作。不知道大家现在是否已经掌握了日志分析的技能？今天咱们就来检验一下。本节讨论的是 nova 相对较简单的操作： reboot 和 lock/unlock。我首先会讲解这几个操作的理论知识， ...
分类：
其他好文 时间：
2016-05-11 09:21:03
阅读次数：
131
Hadoop组成 包括两个核心组成：HDFS：分布式文件系统，存储海量的数据MapReduce：并行处理框架，实现任务分解和调度 搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务（搜索引擎、日志分析、商业智能、数据挖掘） 安装Java JDK 1,进入Sshell，检测是否安装java2， ...
分类：
其他好文 时间：
2016-05-11 01:19:03
阅读次数：
142
实际工作中，恰好需要处理一个nginx日志，做个简单的分析：引子：开发已经有日志分析平台和工具，但为了查一个问题，需要分析原始日志。要求：原始日志的倒数第二个字段不为空且不为‘-‘的情况下，统计倒数第四个字段不为空且不为‘-‘的且不重复的个数。python脚本如下：#!/usr/b..
分类：
编程语言 时间：
2016-05-08 20:05:55
阅读次数：
786
在之前的工作中，主要做了三件事情：1 如何完成Hadoop的完全分布式集群搭建
2 如何运行Hadoop自带示例WordCount，验证集群的运行
3 如何基于eclipse插件实现Hadoop编程完成每一件事都需要经过谨慎的操作、反复的验证，还有耐心。安装完之后一下成功是很难的，仍需要检验每一步的操作、查看错误问题的日志、分析网上类似问题的各类解决方法，于是在千转百回之下，柳暗花明。我分享了以...
分类：
其他好文 时间：
2016-05-07 10:12:56
阅读次数：
268
