日志对大型应用系统或者平台尤其重要，系统日志采集、分析是系统运维、维护及用户分析的基础。 一、系统日志分类 一般系统日志可分为三大类： 1、用户行为日志：通过采集系统用户使用系统过程中，一系列的操作日志。 2、业务变更日志：特定业务场景需要，采集某用户在某时使用某功能，对某业务（对象、数据）进行某操 ...
分类：
Web程序 时间：
2017-09-12 09:54:22
阅读次数：
170
广义的网站的监控涵盖所有的非业务行为的数据采集与管理，包括数据分析师和产品设计师使用的网站用户行为日志、业务运行数据，以及供运维工程师和开发工程师使用的性能统计数据等。 本文主要是通过shell脚本来收集服务器性能指标，如系统load、内存占用、磁盘IO、CPU占用，并将其写入一个文件中，及时判断应 ...
分类：
系统相关 时间：
2017-05-07 12:53:52
阅读次数：
590
案例： 使用电商网站的用户行为日志进行统计分析 一：准备 1.指标 PV:网页流浪量 UV:独立访客数 VV:方可的访问数 IP:独立的IP数 2.上传测试数据 3.查看第一条记录 注意点（字符显示）： 二：程序 1.分析 省份ID-》key value-》1 -》 <proviced,list(1 ...
分类：
Web程序 时间：
2016-10-21 07:38:02
阅读次数：
194
接触spark后就开始学习scala语言了，因为有一点python和java的基础学习起来还行，今天在这里把我工作中应用scala编程统计分析用户行为日志的实例和大家分析一下，我这里主要讲一下用户的在...
分类：
其他好文 时间：
2016-09-14 19:12:52
阅读次数：
269
架构：数据收集：spark stareming从Azure Queue收集数据，通过自定义的spark stareming receiver，源源不断的消费流式数据。
数据处理: spark stareming分析用户行为日志数据，通过实时的聚集，统计报表现有的应用的运营信息，，也可以通过离线的训练模型，对实现数据进行预测和标注。
结果输出：hdfs
数据收集用到了这个东西，miner是个j...
分类：
其他好文 时间：
2016-05-18 18:47:30
阅读次数：
222
http://my.oschina.net/xiangpang/blog/532999http://my.oschina.net/chaichuan/blog/508494http://my.oschina.net/leejun2005/blog/292709http://my.oschina.ne...
分类：
系统相关 时间：
2016-01-17 14:51:21
阅读次数：
203
WebAPI 用ExceptionFilterAttribute实现错误（异常）日志的记录（log4net做写库操作）好吧，还是那个社区APP，非管理系统，用户行为日志感觉不是很必要的，但是，错误日志咱还是得记录则个。总不能上线后报bug了让自己手足无措吧，虽然不管有木有错误日志报bug都是件很头疼...
公司审计部门要求我们对所有的主机系统添加用户行为审计功能，记录用户账户的登陆时间和行为信息，我这边用了一个简单的方法实现以下，下面我简单介绍一下实现的方法 实施步骤： 1、创建用户行为日志存放目录/va...
分类：
系统相关 时间：
2015-09-19 15:26:39
阅读次数：
224
本来是发表到科技论在线的，谁知道被退稿了，那就发到这里来吧。0引言随着互联网的发展，web2.0时期[1]的到来，人类正式进入了信息爆炸时期的。海量的信息在很多应用都会出现，比如一些社交网络应用中记录用户行为日志通常都是以GB甚至是TB为单位的。常规的单机计算模式已经不能支撑如此巨大的数据量。所以，...
分类：
其他好文 时间：
2015-07-05 23:44:58
阅读次数：
249
公司审计部门要求我们对所有的主机系统添加用户行为审计功能，记录用户账户的登陆时间和行为信息，我这边用了一个简单的方法实现以下，下面我简单介绍一下实现的方法 实施步骤： 1、创建用户行为日志存放目录/var/audit，目录赋予777权限（因为所有用户都要向这个目录写入文件） mkdir-p/var/...
分类：
系统相关 时间：
2015-06-09 19:53:25
阅读次数：
202
