1.PageRank介绍 PageRank算法是1998年由斯坦福大学的学生Larry page和Sergrey Brin发明的，是Google搜索引擎的重要算法。目的是基于网络的互联性来客观地计算网页受欢迎程度或重要性。其背后有两个主要依据： （1）具有更多的传入链接的页面比具有较少的传入链接的页 ...
分类：
编程语言 时间：
2019-05-13 19:04:34
阅读次数：
162
第1章 Spark GraphX 概述1.1 什么是 Spark GraphX1.2 弹性分布式属性图1.3 运行图计算程序第2章 Spark GraphX 解析2.1 存储模式2.1.1 图存储模式2.1.2 GraphX 存储模式2.2 vertices、edges 以及 triplets2.2 ...
分类：
编程语言 时间：
2019-04-30 19:55:51
阅读次数：
162
1. text-rank基于的pagerank: 这个通俗易懂 https://www.letiantian.me/2014-06-10-pagerank/ 这个从矩阵层面讲解 https://zhuanlan.zhihu.com/p/32276862 2.tf-idf: https://zhuan ...
分类：
其他好文 时间：
2019-04-23 12:32:12
阅读次数：
156
前言 之前写过稀疏图的实现方法，这次写用矩阵存储数据的算法实现，只要会矩阵相乘的话，实现这个就很简单了。如果有不懂的可以先看一下下面两篇随笔。 MapReduce实现PageRank算法（稀疏图法） Python+MapReduce实现矩阵相乘 算法实现 我们需要输入两个矩阵A和B，我一开始想的是两 ...
分类：
编程语言 时间：
2019-03-24 19:55:50
阅读次数：
225
数据挖掘的基本流程 1 商业理解：数据挖掘不是我们的目的，我们的目的是更好的帮助业务，所以第一步我们要从商业的角度理解项目需求，在这个基础上，在对数据挖掘目标进行定义 2 数据理解：尝试收集部分数据，然后对数据进行探索，包括数据描述，数据质量验证等，有助于对收集的数据有个初步认知 3 数据准备： 开 ...
分类：
其他好文 时间：
2019-03-18 13:42:04
阅读次数：
163
9.1 基于迭代处理平台的并行算法： 不动点： 核心观点： 迭代例析： 1.PageRank(网络连接分析) ...
分类：
其他好文 时间：
2018-12-18 02:31:47
阅读次数：
120
PageRank是一种网页排序算法，主要应用在搜索引擎中。 PageRank将链接作为投票，有入链和出链。入链是其他网页指向本网页，出链是网页指向其他网页。 如果一个网页被很多其他网页链接到的话说明这个网页比较重要，也就是PageRank值会相对较高 如果一个PageRank值很高的网页链接到一个其 ...
分类：
其他好文 时间：
2018-12-10 11:28:59
阅读次数：
183
PageRank算法和谷歌搜索讲解 吴裕雄 PageRank算法实际上就是Google使用它来计算每个网页价值的算法。 Google每次的搜索结果都有成百上千万甚至上亿个相关的查询网页链接。如果将所有的查询结果不加区分，就立即显示给客户看的话，那么用户很有可能看到的就是一些没有多大用的东西，那么Go ...
分类：
编程语言 时间：
2018-12-01 21:57:57
阅读次数：
220
1. PageRank的由来和发展历史 0x1：源自搜索引擎的需求 Google早已成为全球最成功的互联网搜索引擎，在Google出现之前，曾出现过许多通用或专业领域搜索引擎。Google最终能击败所有竞争对手，很大程度上是因为它解决了困扰前辈们的最大难题：对搜索结果按重要性排序。而解决这个问题的算 ...
分类：
编程语言 时间：
2018-11-18 13:10:10
阅读次数：
173
网页排序的任务中，最核心的难点在于判别网页质量。 将互联网上的网页模拟为一个节点，而这个网页的“出链”看做是指向其他节点的一条“有向边”，而“入链”则是其他节点指向这个节点的有向边。这样整个网络就变成了一张有向图。事情到此就显得容易解决了，因为我们用图论中最普通的有向图模型，完成了对此类问题的建模。 ...
分类：
其他好文 时间：
2018-11-03 12:28:39
阅读次数：
212
