在分类聚类算法,推荐系统中,常要用到两个输入变量(通常是特征向量的形式)距离的计算,即相似性度量.不同相似性度量对于算法的结果,有些时候,差异很大.因此,有必要根据输入数据的特征,选择一种合适的相似性度量方法。
令X=(x1,x2,..,xn)T,Y=(y1,y2,...yn)T为两个输入向量,
1.欧几里得距离(Euclidean distance)-EuclideanDistance...
分类：
其他好文 时间：
2015-07-12 23:23:09
阅读次数：
957
欧几里德距离
>
计算两组数据之间的距离，偏好越相似的人其距离就越短。。。为了处理方便，需要一个函数来对偏好越相近的情况给出越大的值（0~1之间）。
皮尔逊相关系数相关度评价
>
皮尔逊相关系数是判断两组叔叔与某一直线拟合程度的一种度量。其对应的公式比欧几里德距离评价的计算公式要复杂，但是在数据不是很规范时会倾向于给出更好的结果。...
分类：
其他好文 时间：
2015-07-06 17:55:33
阅读次数：
116
本文是Spark调研笔记的最后一篇，以代码实例说明如何借助Spark平台高效地实现推荐系统CF算法中的物品相似度计算。
在推荐系统中，最经典的推荐算法无疑是协同过滤（Collaborative Filtering, CF），而item-cf又是CF算法中一个实现简单且效果不错的算法。
在item-cf算法中，最关键的步骤是计算物品之间的相似度。本文以代码实例来说明如何利用Spark平台快速计算...
分类：
其他好文 时间：
2015-06-10 15:47:17
阅读次数：
155
欧几里德相似度（Euclidean Distance）最初用于计算欧几里德空间中两个点的距离，以两个用户x和y为例子，看成是n维空间的两个向量x和y, xi表示用户x对itemi的喜好值，yi表示用户y对itemi的喜好值，他们之前的欧几里德距离是对应的欧几里德相似度，一般采用以下公式进行转换：距离...
分类：
其他好文 时间：
2015-06-10 10:18:09
阅读次数：
126
在计算文本相似项发现方面，有以下一些可参考的方法。这些概念和方法会帮助我们开拓思路。相似度计算方面Jaccard相似度：集合之间的Jaccard相似度等于交集大小与并集大小的比例。适合的应用包括文档文本相似度以及顾客购物习惯的相似度计算等。Shingling：k-shingle是指文档中连续出现的任...
分类：
其他好文 时间：
2015-06-09 00:51:23
阅读次数：
110
相似度计算map-reduce实现思路
输入：
1 f(1)
2 f(2)
3 f(3)
4 f(4)
mapper:
1,2 f(1)
1,3 f(1)
1,4 f(1)
1,2 f(2)
2,3 f(2)
2,4 f(2)
1,3 f(3)
2,3 f(3)
3,4 f(3)
1,4 f(4)
2,4 f(4)
3,4 f(4)...
分类：
其他好文 时间：
2015-05-31 18:32:49
阅读次数：
98
通过?采集系统?我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度...
分类：
其他好文 时间：
2015-05-28 18:29:58
阅读次数：
159
word分词提供了两种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String?text1?=?"我爱学...
分类：
其他好文 时间：
2015-05-20 08:20:25
阅读次数：
109
声明：本文最初发表于赖勇浩（恋花蝶）的博客http://blog.csdn.net/lanphaday先将两张图片转化为直方图，图像的相似度计算就转化为直方图的距离计算了，本文依照如下公式进行直方图相似度的定量度量：Sim(G,S)=其中G,S为直方图，N为颜色空间样点数转换为相应的Python代码...
分类：
编程语言 时间：
2015-05-10 12:55:43
阅读次数：
318
读清华大学刘知远老师的今年的一篇IJCAI文章Representation
Learning for Measuring Entity Relatedness with Rich Information。
相比词汇相似度计算，维基实体相关度计算更加挖掘维基百科语料库的特性。其相关性计算大致分为三类：
1. text-theoretic 利用维基百科语料的海量特性。通过统计的方法进行词汇表征...
分类：
其他好文 时间：
2015-05-08 10:51:28
阅读次数：
118
