原文链接： https://www.toutiao.com/i6765677128022229517/ PV 是Page Views的缩写，即页面浏览量，用户每一次对网站中的每个网页访问均被记录一次。注意，访客每刷新一次页面，pv就增加一次。 我们目前的数据是： 其中的数据我们会得到标注 根据标注我 ...
分类：
编程语言 时间：
2020-03-20 00:55:17
阅读次数：
88
原文链接： https://www.toutiao.com/i6764933201203823107/ 概念：“数据去重”主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。 数据去重的最终目标是让原始数据 ...
分类：
其他好文 时间：
2020-03-20 00:27:36
阅读次数：
75
MapReduce可以实现一个简单的好友推荐，本文参考了文末博主的思路，个人感觉不错，自己修改部分代码也简单实现了，记录下。 数据准备 如下数据就是好友关系，同一行的两个人就是好友，需要在这数据里寻找两个人是否是潜在好友，即两人不是直接好友，但是却有共同的好友，需要将这样关系的两个人作为结果推荐出去 ...
分类：
其他好文 时间：
2019-12-07 01:05:23
阅读次数：
112
PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作，生成键——值对形式中间结果。其 ...
分类：
其他好文 时间：
2019-10-07 00:50:10
阅读次数：
157
大致思路是将hdfs上的文本作为输入，MapReduce通过InputFormat会将文本进行切片处理，并将每行的首字母相对于文本文件的首地址的偏移量作为输入键值对的key，文本内容作为输入键值对的value，经过在map函数处理，输出中间结果<word,1>的形式，并在reduce函数中完成对每个 ...
分类：
其他好文 时间：
2019-09-02 21:00:24
阅读次数：
165
MapReduce采用的是“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个从节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单来说，MapReduce就是”任务的分解与结果的汇总“。 MapReduce的工作原理 在分布式计算中，MapReduce框架负责处理了 ...
分类：
其他好文 时间：
2019-09-02 19:15:30
阅读次数：
69
Hadoop三大组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上（分布式存储） 分布式运算编程框架：MapReduce——实现多台机器的分布式并行运算。（分布式运算） 分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源 Hive ...
分类：
其他好文 时间：
2019-08-14 14:26:48
阅读次数：
115
一、WordCount原理 初学MapReduce编程，WordCount作为入门经典，类似于初学编程时的Hello World。WordCount的逻辑就是给定一个/多个文本，统计出文本中每次单词/词出现的次数。网上找的一张MapReduce实现WordCount的图例，基本描述清楚了WordCo ...
分类：
其他好文 时间：
2019-08-01 00:04:29
阅读次数：
254
数据结构 customer表 oder表 MAPJOIN 场景：我们模拟一个有一份小表一个大表的场景，customer是那份小表，order是那份大表做法：直接将较小的数据加载到内存中，按照连接的关键字建立索引， 大份数据作为MapTask的输入键值对 map()方法的每次输入都去内存当中直接去匹配 ...
分类：
其他好文 时间：
2019-05-02 22:59:35
阅读次数：
256
前言 之前写过稀疏图的实现方法，这次写用矩阵存储数据的算法实现，只要会矩阵相乘的话，实现这个就很简单了。如果有不懂的可以先看一下下面两篇随笔。 MapReduce实现PageRank算法（稀疏图法） Python+MapReduce实现矩阵相乘 算法实现 我们需要输入两个矩阵A和B，我一开始想的是两 ...
分类：
编程语言 时间：
2019-03-24 19:55:50
阅读次数：
225
