基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍...
分类:
其他好文 时间:
2014-11-05 10:55:34
阅读次数:
182
1.ng-class专业修改css啊,比css里加{{}}强多了<png-class=‘{right:attack,wrong:cure}‘>100</p><buttonng-click="attack=true;cure=falue">attack</button><buttonng-click="attack=false;cure=true">cure</button>点哪行哪行变绿<div..
分类:
Web程序 时间:
2014-11-05 00:42:19
阅读次数:
321
最近看到Andrew Ng的一篇论文,文中用到了Kmeans和DL结合的思想,突然发现自己对ML最基本的聚类算法都不清楚,于是着重的看了下Kmeans,并在网上找了程序跑了下。kmeans是unsupervised learning最基本的一个聚类算法,我们可以用它来学习无标签的特征,其基本思想如....
分类:
其他好文 时间:
2014-11-04 10:36:13
阅读次数:
269
1. ../flume/fchannel/spool/data/ 目录下发生缓存文件积压 可能原因:同一时间同一客户端下向两个监控目录mv文件;或同一时间多个客户端向服务端上传文件2.清空../flume/fchannel/spool/data/ 目录下文件重启后,监控目录下的文件发生积压,没有上传...
分类:
Web程序 时间:
2014-11-03 22:08:46
阅读次数:
590
有时候使用$scope时无法从html中读取到值,也就是ng-model中绑定的值无法传给angular使用原因:在Js中你或许使用了这样的方法定义scope变量,$scope.show = ""html: ..................... 这样的话html中的hello值无法传送给js处...
分类:
Web程序 时间:
2014-11-03 16:18:52
阅读次数:
332
一、引言 本材料参考Andrew Ng大神的机器学习课程http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练集直接对条件概率p(y|x;θ)建模,例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模(其中g(z)是sigmoi.....
分类:
其他好文 时间:
2014-11-01 17:46:57
阅读次数:
202
一、引言 本材料参考Andew Ng大神的机器学习课程http://cs229.stanford.edu,以及斯坦福无监督学习UFLDL tutorialhttp://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial 机器学习中的回归问题属于有监督.....
分类:
其他好文 时间:
2014-10-31 22:09:46
阅读次数:
221
1、Select下拉列表框的使用:①添加“ng-model”指令,代表下拉框绑定的实体对象②添加“ng-options”指令,指令的形式四种:1)model.textformodelinarray;2)mode.valueasmodel.textformodelinarray;3)model.tex...
分类:
Web程序 时间:
2014-10-30 23:50:47
阅读次数:
314
1. 在flume/conf下建一个example文件:将下面的配置信息写到example文件中#配置agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.source...
分类:
Web程序 时间:
2014-10-30 15:16:08
阅读次数:
239