更多数据挖掘算法：https://github.com/linyiqun/DataMiningAlgorithm
介绍
CBA算法全称是Classification base of Association，就是基于关联规则进行分类的算法，说到关联规则，我们就会想到Apriori和FP-Tree算法都是关联规则挖掘算法，而CBA算法正是利用了Apriori挖掘出的关联规则，然后做分类判断，所以在...
分类：
编程语言 时间：
2015-02-15 09:31:02
阅读次数：
317
频繁项集挖掘是一个关联式规则挖掘问题。关联挖掘是数据挖掘中研究最早也是最活跃的领域，其中频繁模式的挖掘是关联挖掘的核心和基础，是产生关联规则挖掘的基础。其中FP-Growth和Apriori算法是最为经典的频繁项集挖掘算法。本文在spark下利用scala编写，充分利用了spark的内存计算方式和scala简洁的语法模式和先天性的并行化特性，充分发挥了FP-Growth。...
分类：
编程语言 时间：
2015-02-01 13:33:53
阅读次数：
310
我的数据挖掘算法代码：https://github.com/linyiqun/DataMiningAlgorithm
介绍
Apriori算法是一个经典的数据挖掘算法，Apriori的单词的意思是"先验的"，说明这个算法是具有先验性质的，就是说要通过上一次的结果推导出下一次的结果，这个如何体现将会在下面的分析中会慢慢的体现出来。Apriori算法的用处是挖掘频繁项集的，频繁项集粗俗的理解就是找...
分类：
编程语言 时间：
2015-01-23 23:09:12
阅读次数：
628
Apriori algorithm是关联规则里一项大数据基本算法。是由Rakesh Agrawal和Ramakrishnan Srikant两位博士在1994年提出的关联规则挖掘算法。关联规则的目的就是在一个数据集中找出项与项之间的关系，也被称为购物蓝分析 (Market Basket analys...
分类：
编程语言 时间：
2015-01-23 13:20:54
阅读次数：
160
前段时间，由于项目中用到了序列挖掘的算法，师兄推荐我用用SPMF。在此做个记录。 首先简单介绍一下SPMF： SPMF是一个采用Java开发的开源数据挖掘平台。 它提供了51种数据挖掘算法实现，用于： 序列模式挖掘, 关联规则挖掘， frequent itemset 挖掘, 顺序规则挖掘， 聚类 H...
分类：
编程语言 时间：
2015-01-22 20:08:51
阅读次数：
415
1.支持度（Support）
支持度表示项集{X,Y}在总项集里出现的概率。公式为：
Support(X→Y) = P(X,Y) / P(I) = P(X∪Y) / P(I) = num(XUY) / num(I)
其中，I表示总项集。num()表示求项集个数
2.置信度 （Confidence）
置信度表示在先决条件X发生的情况下，由关联规则...
分类：
其他好文 时间：
2015-01-15 22:13:22
阅读次数：
203
数据抽象
序列(sequence):表示一个完整的信息流.
数据项(item):序列中最小组成单位的集合
事件(event)：通常使用时间戳来表示，用于标识同一个序列内不同数据项之间的前后顺序关系。
在网站分析中，可以使用序列模式的关联分析来研究用户的点击行为流，并衡量页面的体验以及易用性效果。
（该实例来自 李明 《R语言与网站分析》中例子）
读取数据
# （1）使用read....
分类：
其他好文 时间：
2014-12-26 14:48:13
阅读次数：
1036
转自这里Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于 两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规 则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。由Agrawal等人提出的Apriori是经典的关联规则和频繁项集挖掘算法...
分类：
编程语言 时间：
2014-12-23 21:09:23
阅读次数：
703
提到数据挖掘，我们第一反应就是之前听到的啤酒和尿不湿的故事，该故事就是典型的数据挖掘中的关联规则。购物篮分析区别于传统的线性回归的主要区别为，关联分析针对离散数据；
常见关联规则：
关联规则：牛奶=>鸡蛋【支持度=2%，置信度=60%】
支持度：分析中的全部事务的2%同时购买了牛奶和鸡蛋，需设定域值，来限定规则的产生；
置信度：购买了牛奶的筒子有60%也购买了鸡蛋，需设定域值，来限定规则的...
分类：
编程语言 时间：
2014-12-23 12:34:32
阅读次数：
339
本文是观看了小象学院《大数据应用中的算法如何创造商业价值》，现在做一下梳理
问题：当当网中”最佳拍档”中的关联规则算法
对于解决一个实际的问题，我们看一下一般的思路流程是什么样的
1. 目前的关联规则是什么的
2. 问题发现和分析：现在的方法有什么问题
3. 效果空间预估：理想情况下，这个问题通过某种解决方法，可以达到的效果什么
4. 算法改进：基于上面的理想效果，我们如何通过...
分类：
其他好文 时间：
2014-12-21 15:19:20
阅读次数：
182
