转自这里Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于 两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规 则。在这里,所有支持度大于最小支持度的项集称为频繁项集,简称频集。由Agrawal等人提出的Apriori是经典的关联规则和频繁项集挖掘算法...
分类:
编程语言 时间:
2014-12-23 21:09:23
阅读次数:
703
提到数据挖掘,我们第一反应就是之前听到的啤酒和尿不湿的故事,该故事就是典型的数据挖掘中的关联规则。购物篮分析区别于传统的线性回归的主要区别为,关联分析针对离散数据;
常见关联规则:
关联规则:牛奶=>鸡蛋【支持度=2%,置信度=60%】
支持度:分析中的全部事务的2%同时购买了牛奶和鸡蛋,需设定域值,来限定规则的产生;
置信度:购买了牛奶的筒子有60%也购买了鸡蛋,需设定域值,来限定规则的...
分类:
编程语言 时间:
2014-12-23 12:34:32
阅读次数:
339
一:为什么要预处理数据?
(1)现实世界的数据是肮脏的(不完整,含噪声,不一致)
(2)没有高质量的数据,就没有高质量的挖掘结果(高质量的决策必须依赖于高质量的数据;数据仓库需要对高质量的数据进行一致地集成)
(3)原始数据中存在的问题:
不一致 —— 数据内含出现不一致情况
重复
不完整 —— 感兴趣的属性没有
含噪声 —— 数据中存在着错误、或异常(偏离期望值)的数据
高维度...
分类:
其他好文 时间:
2014-12-23 12:31:19
阅读次数:
193
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架;Mahout是目前数据挖掘领域的王者;工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出:“2012年美...
分类:
其他好文 时间:
2014-12-23 06:40:35
阅读次数:
183
相似度的计算是数据挖掘与机器学习中的一个永恒的话题,为了能更好地理解与比较各种相似度计算的方法,能灵活运用到各种计算模型中,自己在研究机器学习之Mahout框架时,源代码中也实现了很多相似度计算方法,本文结合机器学习Mahout框架中各种相似度计算方法的实现,并且从代数角度和几何角度来理解相似度的计算方法。并阐述其优缺点,及自己的适用场景。本文通过总结和归纳,一共总结了9中距离测量方法,方法一到方法七是Mahout中完完本本实现了,其中前面是方面名,破折号后是Mahout中各方法实现的类名,本文结合Maho...
分类:
其他好文 时间:
2014-12-23 00:19:48
阅读次数:
1390
今天继续就指数平滑法中最复杂的一种时间序列:有增长或者降低趋势并且存在季节性波动的时间序列的预测算法即Holt-Winters和大家分享。这种序列可以被分解为水平趋势部分、季节波动部分,因此这两个因素应该在算法中有对应的参数来控制。
Holt-Winters算法中提供了alpha、beta和gamma 来分别对应当前点的水平、趋势部分和季节部分,参数的去执法范围都是0-1之间,并且参数接近0时,...
分类:
编程语言 时间:
2014-12-22 11:12:30
阅读次数:
674
1.matlab 和 octave 的使用2.待了解的名词(凸性优化,隐式马尔科夫链)3.一些数据挖掘的定义 : 一个计算机应用程序,假设有一个任务T,然后有一个性能测量方法P,在经验E的 影响下P对T的测量结果得到改进。4.向量机的概念: 用来把一个无限维数的向量变成有限的维数。5.学习性算法的分...
分类:
其他好文 时间:
2014-12-22 00:48:03
阅读次数:
238
下面内容摘自互联网并作了整理。名词:BI(Business Intelligence):商业智能,DW(Data Warehouse):数据仓库,详见正文Q1部分。OLTP(On-Line Transaction Processing):联机事务处理也称为面向交易的处理系统,其基本特征是顾客的原始数...
分类:
其他好文 时间:
2014-12-19 21:50:18
阅读次数:
206
上篇我和小伙伴们分享了简单指数平滑法,简单指数平滑法只能预测那些处于恒定水平和没有季节变动的时间序列,今天和大家分享非恒定水平即有增长或者降低趋势的,没有季节性可相加模型的时间序列预测算法---霍尔特指数平滑法(Holt)。
Holt 指数平滑法估计当前时间的水平和斜率。其平滑水平是由两个参数控制,alpha:估计当前点水平;beta:估计当前点趋势部分斜率。两个参数都介于0-1之间,当参数越接...
分类:
编程语言 时间:
2014-12-19 12:13:25
阅读次数:
432
原帖:http://blog.sina.com.cn/s/blog_4d3a41f40101akfd.html 1 介绍 在计算机视觉、模式识别、数据挖掘很多应用问题中,我们经常会遇到很高维度的数据,高维度的数据会造成很多问题,例如导致算法运行性能以及准确性的降低。特征选取(Feature Sele...
分类:
其他好文 时间:
2014-12-19 11:58:19
阅读次数:
290