PageRank，网页排名，又称网页级别、Google左侧排名或佩奇排名，是一种由根据网页之间相互的超链接计算的技术，而作为网页排名的要素之一. Google用它来体现网页的相关性和重要性，在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一.PageRank适用于任何图或网络在任何域.因此, ...
分类：
其他好文 时间：
2016-10-22 12:21:33
阅读次数：
293
对于大部分用户的查询，今天的搜索引擎都会返回成千上万条结果，那么该如何排序，把用户最想看到的结果排在前面呢?本文主要介绍了一个民主表决式的网页排名技术PageRank的原理以及算法的实现。 ...
分类：
编程语言 时间：
2016-09-15 17:48:56
阅读次数：
173
1. PageRank算法概述 PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模 ...
分类：
编程语言 时间：
2016-08-28 22:09:32
阅读次数：
186
之前写过很多单页面python爬虫，感觉python还是很好用的，这里用java总结一个多页面的爬虫，迭代爬取种子页面的所有链接的页面，全部保存在tmp路径下。 1 序言 实现这个爬虫需要两个数据结构支持，unvisited队列(priorityqueue：可以适用pagerank等算法计算出url ...
分类：
编程语言 时间：
2016-08-05 16:08:09
阅读次数：
312
MapReduce学习
Map”:主结点读入输入数据，把它分成可以用相同方法解决的小数据块（这里是一个分而治之的思想），然后把这些小数据块分发到不同的工作节点上(worder nodes)上，每一个工作节点(worder node)循环做同样的事，这就行成了一个树行结构（分布式计算中的很多模型都和图论有关，pageRank也是），而每一个叶子节点有来处理每一个具体的小数据块，再把这些处理...
分类：
其他好文 时间：
2016-07-21 13:03:23
阅读次数：
245
PageRank 简单理解为网页排名，但是网页是根据什么排名的，接下来就简单介绍一下。 举例： 假设网页 A 的内容中有网页 B，C 和 D 的链接，并且 A 的 PageRank的值为0.25。 那接下里我们就可以计算在网页 A 中的其他网页的PageRank的值了。我们拿网页 B 来进行说明， ...
分类：
其他好文 时间：
2016-07-15 06:36:08
阅读次数：
243
缓存Spark 支持在集群范围内将数据集缓存至每一个节点的内存中，可避免数据传输，当数据需要重复访问时这个特征非常有用，例如查询体积小的“热”数据集，或是运行如 PageRank 的迭代算法。调用 cache()，就可以将数据集进行缓存：linesWithSpark.cache() Spark SQ... ...
分类：
其他好文 时间：
2016-06-25 08:27:33
阅读次数：
258
补充： 网站知名网站收录 网站被世界三大知名网站DMOZ，Yahoo和Looksmart收录 众所周知，Google的Pagerank系统对那些门户网络目录如 DMOZ，Yahoo和Looksmart尤为器重。特别是对DMOZ。一个网站上的DMOZ链接对Google的Pagerank?来说，就好像一 ...
分类：
其他好文 时间：
2016-06-18 10:09:56
阅读次数：
178
转载请注明出处： 转载自 Thinkgamer的CSDN博客： blog.csdn.net/gamer_gyt
代码下载地址：点击查看
1：PageRank 与 PeopleRank
2：需求分析：挖掘CSDN博客的价值用户
3：算法模型：PeopleRank算法
4：架构设计：从数据准备到PR算法的MR化
5：程序开发：hadoop实现PeopleRank算法...
分类：
其他好文 时间：
2016-05-30 14:50:13
阅读次数：
259
早就对PageRank 算法感兴趣，但一直都是轮廓性的概念，没有具体深入学习。最近要学习和总结MapReduce 的实例，就又把PageRank 算法重新学习了一遍，并基于MapReduce 进行了实现。1. PageRank是什么PageRank，网页排名，右脚网页级别。是以Google 公司创始人Larry Page 之姓来命名。PageRank 计算每一个网页的PageRank值，并根据Pag...
分类：
编程语言 时间：
2016-05-18 19:36:24
阅读次数：
243
