val sc = new SparkContext(...)
val links = sc.parallelize(Array(('A',Array('D')),('B',Array('A')),('C',Array('A','B')),('D',Array('A','C'))),2).map(x => (x._1,x._2)).cache()
var ranks = sc.paralleliz...
分类：
其他好文 时间：
2015-05-07 18:53:41
阅读次数：
129
Jon Kleinberg致力于HITS的万维网搜索引擎项目，两名博士生正在从事一项名为PageRank的类似项目，分别是Sergey Brin和Larry Page。这两个模型之间的联系令人吃惊。然而，Jon并未试图将HITS发展成为一家公司，不过后来企业家们却试着去做了。...
分类：
Web程序 时间：
2015-05-03 16:03:54
阅读次数：
260
PageRank 通过网页与网页之间的链接关系计算各网页权重，一般权重高的网页特点是：链接向它的网页数量多、链向它的网页其权重也较高。PageRank 就是通过这样的连接关系，一轮轮迭代计算后得出各网页的权重。 思路拓展一下，其实人与人之间也是连接着的，在社会的人际关系网中，每个人的社会地位和身价也...
分类：
其他好文 时间：
2015-04-27 02:04:12
阅读次数：
309
PeopleRank:基于PageRank的理论，以每个微博账户的“关注”为链出链接，“粉丝”为链入链接的这种以人为核心的关系。PeopleRank假设条件：– 数量假设：如果一个用户节点接收到的其他用户“关注”的数量越多，那么这个用户越重要。– 质量假设：用户A的“粉丝”质量丌同，质量高的“粉丝”...
分类：
其他好文 时间：
2015-04-22 20:17:47
阅读次数：
136
最近和寝室的同学一起搭建了Hadoop的集群，实现了一个简易的本地搜索引擎，并且将其开源到了github上：https://github.com/ifuding/search-1047，接下来的几篇博文将对这个项目及其代码作一些详细的描述。搜索原理概述“搜索”，简而言之就是要分析用户输入然后输出给用户已经排好序的URL集合。一个简单的实现所需要的排序依据主要就是文本检索以及url的PageRank值...
分类：
其他好文 时间：
2015-04-22 18:30:02
阅读次数：
192
网络搜索引擎简介一、传统信息检索回顾传统信息检索文档集的搜索有三种基本的计算机辅助技术：布尔模型、向量空间模型和概率模型。这些模型发展与20世纪60年代，直到2000年6月，便存在3500种不同的搜索引擎技术，并且大多数搜索引擎仍然依赖于以上三种基本模型的一种或数种。下图摘自《搜索引擎-原理技术与系统》，显示了搜索的主干流程。
1.1 布尔搜索引擎信息检索中最早而且最简单的检索方法之一。布尔逻辑检...
分类：
其他好文 时间：
2015-04-21 14:43:14
阅读次数：
172
MapReduce实现矩阵的乘法
在学习pageRank算法时看到这么一个小小的编程应用。并且一直自诩只要有原理就能写出代码（只是时间问题），矩阵乘法的原理很简单，基本上理工科生（只要学过线性代数或者相关课程）都知道。但是从来没有想过通过并行计算的方式完成矩阵乘法。
简单粗暴的讲，就是左矩阵M...
分类：
其他好文 时间：
2015-04-17 11:35:48
阅读次数：
214
使用Gephi做网页监控及PageRank排名计算...
分类：
Web程序 时间：
2015-04-07 09:47:04
阅读次数：
575
PR(PageRank)页面等级，由美国Google职工拉里佩奇规划，算法杂乱好用，遍及全球。PR值越高的网站，关键词排行越靠前，搜索引擎越喜欢，天然网站流量越大。恰是由于PR好处多多，所以现在很多人都在寻觅疾速提高排行的办法。目前网上干流的办法：A:高质量外链建造(引荐)；B:友情链接建造；C:3...
分类：
其他好文 时间：
2015-04-03 01:31:15
阅读次数：
164
1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左側排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模...
分类：
编程语言 时间：
2015-03-30 13:04:16
阅读次数：
206
