原文：http://www.infotech.ac.cn/article/2012/1003-3513-28-2-60.htmlMapReduce原理及其主要实现平台分析亢丽芸, 王效岳, 白如江摘要关键词:MapReduce;实现平台;Hadoop;Phoenix;Disco;MarsAnalys...
分类：
其他好文 时间：
2015-10-15 20:23:12
阅读次数：
222
程序事例：日志信息：二手车 1345二手房 3416洗衣机 2789输入： N=2输出：二手房洗衣机map函数如下：import java.io.IOException;import java.util.Map;import java.util.TreeMap;import org...
分类：
其他好文 时间：
2015-09-18 16:49:33
阅读次数：
409
Mapreduce 是谷歌提出的一个分布式计算框架， 利用该框架， 能够让用户方便地利用多机并行处理数据。 该框架有两个重要的函数： Map 和 Reduce， Map 函数对整个输入数据进行处理， 按照用户定义的处理方式， 从输入的数据中产生中间键值对（ key， value）。Reduce 函数对这些键值对进行处理， 相同 key 的键值...
分类：
编程语言 时间：
2015-08-25 21:44:34
阅读次数：
227
举例来讲：
假设每个网页都有一个自己的默认PR值，相当于人为添加给它是一种属性，用来标识网页的等级或者重要性，从而依据此标识达到排名目的。假设有ID号是1的一个网页，PR值是10，假如它产生了到ID=3，ID=6，ID=8 ，ID=9这4个网页的链接。那么可以理解为ID=1的网页向ID=3，6，8，9的4个网页各贡献了2.5的PR值。如果想求任意一个网页假设其ID=3的PR值，需要得到所有的其他...
分类：
编程语言 时间：
2015-08-12 21:41:02
阅读次数：
165
大家都知道qq用户量上亿，每个用户又有很多的好友，因此，数据量十分的庞大，如何才能实现QQ的好友推荐呢？
下面举一个例子：
A有QQ好友B
B有QQ好友C
则A，C有可能是好友。
当A登录的时候，则会向A推荐C，当C登录的时候，则会向C推荐A。Demo输入数据
map阶段
key：主
value：从
key：从
value：主
将一条记录分别作为key，value进行输出。
tom-->...
分类：
其他好文 时间：
2015-08-01 23:40:19
阅读次数：
326
使用MapReduce实现PageRank算法...
分类：
编程语言 时间：
2015-07-30 21:32:32
阅读次数：
185
使用案例：
联接两张表
Table EMP：（新建文件EMP，第一行属性名不要）
Name Sex Age DepNo
zhang male 20 1
li female 25 2
wang female 30 3
zhou...
分类：
其他好文 时间：
2015-06-15 23:57:06
阅读次数：
238
通过Hadoop的自定义排序算法可实现从海量数字中获取最大值，不多说，直接上代码
1、Mapper类的实现
static class MyMapper extends Mapper{
long max = Long.MIN_VALUE;
protected void map(LongWritable k1, Text v1, Context context) throws ja...
分类：
其他好文 时间：
2015-05-31 14:07:01
阅读次数：
212
RHadoop实践系列之二：RHadoop安装与使用RHadoop实践系列文章，包含了R语言与Hadoop结合进行海量数据分析。Hadoop主要用来存储海量数据，R语言完成MapReduce 算法，用来替代Java的MapReduce实现。有了RHadoop可以让广大的R语言爱好者，有更强大的工具处...
分类：
其他好文 时间：
2015-05-26 18:04:20
阅读次数：
126
1、MapReduce实现矩阵相乘 一. 准备数据 #!/bin/bash
if?[?$#?-ne?3?]
then
??echo?"there?must?be?3?arguments?to?generate?the?two?matries?file!"
??exit?1
fi
cat?/dev/null?>?M_$1_...
分类：
其他好文 时间：
2015-05-21 22:49:07
阅读次数：
215
