本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中，我们一共分了8步，其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器：我们可以发现，其中有两个计数器：Combineoutputrecords和Combineinputrecords，他们的计数都是0，这是..
分类：
其他好文 时间：
2014-05-03 15:00:55
阅读次数：
323
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是helloyou，hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>，分别是<0,helloyou><10,hel..
分类：
其他好文 时间：
2014-05-03 01:51:40
阅读次数：
382
我猜~~~很多一开始学习python的同学们一定也遇到了这个问题，在安装setuptools时候会遇到UnicodeDecodeError的错误。我学的是3.x,但是周围的人都说2.7好，╮(╯▽╰)╭一开始我也不在乎，但是工作需要使用mongodb,但是它的包暂时只有2.7，我点点点点。无奈我也就...
分类：
编程语言 时间：
2014-05-02 16:24:03
阅读次数：
410
Pig是Apache的一个开源项目，用于简化MapReduce的开发，实质Pig将转化为MapReduce作业，使开发人员更多专注数据而不是执行的本质，是不懂java人员的福利。Pig由以下两部分组成：1、表达数据流的语言，成为PigLatin。2、运行PigLatin程序的执行环境。目前有两种环境：在单个JVM..
分类：
其他好文 时间：
2014-05-02 07:52:55
阅读次数：
591
本文主要针对广告检索领域的查询重写应用，根据查询-广告点击二部图，在MapReduce框架上实现SimRank++算法，关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为：
算法主要步骤如下：
Step1: 计算权值矩阵，并获取最大Query编号和最大广告编号；
Step2:...
分类：
其他好文 时间：
2014-05-01 08:21:53
阅读次数：
527
MapReduce--Logistic Regression...
分类：
其他好文 时间：
2014-04-30 22:37:39
阅读次数：
830
