1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
GoAccess是一款开源的网站日志实时分析工具。GoAccess的工作方式很容易理解，就是读取和解析Apache/Nginx/Lighttpd的访问日志文件accesslog，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排..
分类：
数据库 时间：
2015-05-07 17:04:55
阅读次数：
260
#!/bin/shif[!-d/home/passport_log_tmp]&&[!-d/usr/local/nginx/html/awstats/passport.xxx.com];thenmkdir-p/usr/local/nginx/html/awstats/passport.xxx.commkdir-p/home/passport_log_tmpfirm-rf/home/passport_log_tmp/access_*.logfind/home/passport_log/web[1-..
分类：
其他好文 时间：
2015-05-07 16:58:36
阅读次数：
204
1，http日志分析#!/bin/bash
foriin$@;do
echo====================="$i"=============================>>weblog.txt
echo"IPdata">>weblog.txt
awk‘{print$1}‘$i|wc-l>>weblog.txt
awk‘{print$1}‘$i|sort|uniq-c|wc-l>>weblog.txt
echo"sokectdata"&g..
分类：
Web程序 时间：
2015-05-07 12:39:34
阅读次数：
156
分析例如以下GC日志: [GC [PSYoungGen: 9216K->1024K(9216K)] 1246196K->1246220K(1287040K), 0.2398360 secs] [Times: user=0.29 sys=0.01, real=0.24 secs] [...
分类：
编程语言 时间：
2015-05-07 11:47:37
阅读次数：
128
参照http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/此作者搭建环境过程。借一张图：搭建版本为：Elasticsearch：1.5.2Logstash：1.4.2Kibana：4.0.2Shipper节点配置如下：inpu...
分类：
其他好文 时间：
2015-05-05 01:19:18
阅读次数：
133
grok-patterns内置了很多基础变量的正则表达式的log解析规则，其中包括apache的log解析（同样可以用于nginx的log解析）。基于nginx日志分析配置：1.配置nginx日志格式如下：log_format main '$remote_addr [$time_local]'' "...
分类：
其他好文 时间：
2015-05-04 17:51:28
阅读次数：
190
我的新书《UNIX/Linux网络日志分析与流量监控》,在全国图书订货会-机械工业出版社展台《UNIX/Linux网络日志分析与流量监控》
分类：
其他好文 时间：
2015-04-30 20:28:01
阅读次数：
126
http://bughd.com/doc/indexBugHD 用户使用手册一.登录/注册如果你已经有 FIR.im 的账号，可以使用 FIR.im 的账号直接登录二.创建一个项目在项目列表，点击“创建项目”输入项目名称，选项项目的应用类型获取到 general_key,用于配置 SDK。三.集成S...
分类：
其他好文 时间：
2015-04-30 17:31:30
阅读次数：
179
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html网站日志分析项目案例（三）统计分析：...
分类：
Web程序 时间：
2015-04-29 07:05:09
阅读次数：
195
