Hama学习笔记
1. Hama定义
Hama是基于HDFS上的BSP模型实现,其运行不需要MapReduce。例证如下: 在单点调试的Hama系统上,只运行NameNode、DataNode、BSPMasterRunner、GroomServerRunner和 ZooKeeperRunner进程,即可运行PageRank程序。
2. MapReduce与BSP区别
执行机制:MapR...
分类:
其他好文 时间:
2014-06-21 23:12:18
阅读次数:
268
预先为每个URL计算好PageRank值,并将计算结果保存到数据表中,该函数会在每次执行期间重新计算所有的pageRank值该函数最初将每个网页的PageRank值设为1,然后遍历每个URL,并针对每个外部回指链接,得到其pagerank值与链接的总数,并以粗体显示代码行给出的应用与每个外部链接的计...
分类:
编程语言 时间:
2014-06-13 19:06:38
阅读次数:
381
博客园用户由关注和粉丝的关系,这与网页的链接关系很类似,于是我就爬了博客园的粉丝与关注用户,然后计算了一下用户的PageRank排名。这里列出了博客园用户排名的前200的用户。完整数据放在了github上
分类:
其他好文 时间:
2014-05-27 00:35:37
阅读次数:
380
本文总结PageRank的原理,并提供了一种Python版本的Map-Reduce计算方法
分类:
其他好文 时间:
2014-05-23 06:23:31
阅读次数:
515